具有记忆意识的字符串过滤

Question

假设我有500个字：

Martin
Hopa
Dunam
Golap
Hugnog
Foo
... + 494 more words

我的以下文本总计约85KB：

Marting去了Hopa商店买了他自己的东西，现在他打算和他最好的朋友杜南（Dunam）一起存放它。 他们计划使用在Foo镇Hugnog商店中找到的Golap锁。 >... text continues into several pages

我想产生以下文字：

-------去了----商店里给他自己的东西，现在他打算和他最好的朋友----一起存放它。 他们计划使用在---小镇的------商店中找到的----锁。 >... text continues into several pages

目前，我正在使用Commons方法：

String[] 500words = //all 500 words
String[] maskFor500words = // generated mask for each word
String filteredText = StringUtils.replaceEach(textToBeFiltered, 500words , maskFor500words);

1. 还有另一种方法可以在内存和CPU使用率方面提高效率吗？
2. 500个单词的最佳存储空间是什么？ 文件，列表，枚举，数组...？
3. 您将如何获得统计信息，例如替换了多少个单词和替换了哪些单词； 并且每个单词被替换了几次。

Answer 1

我不会在乎apout CPU和内存的使用情况。 对于这样的问题和如此大量的文本，它应该相对较小。 我会做的是

• 有一个包含所有字符串作为键的Map，以及在文本中找到它们的次数（最初为0）
• 通过使用StringTokenizer或String.split（）方法逐字读取文本
• 对于每个单词，查找映射是否包含它（O（1）操作，非常快）
• 如果包含它，则将“ ----”添加到StringBuilder，并增加映射中该单词的存储值
• 否则添加单词本身（除非它是文本的第一个单词，否则在单词前加一个空格）

在过程结束时，StringBuilder包含结果，并且映射包含每个单词被用作替换的次数。 确保使用原始文本的长度初始化STringBuilder，以避免过多的重新分配。

应该简单有效。

Answer 2

我不太在乎内存，但是如果您愿意的话， trie是您的朋友。 对于大集合，它的内存效率很高，并且可以非常高效地进行匹配。 您可能想以压缩方式实现它。

Answer 3

如果我正确理解问题，则需要阅读85KB的文本并解析出每个单词（使用split或StringTokenizer）。 对于每个单词，您都需要知道是否有500个单词，如果有，请使用相应的掩码进行切换。

如果您知道您有大约500个单词，建议您将500个单词及其掩码存储在HashMap中，初始容量约为650（JDK文档说散列效率最高，负载系数为0.75）。 使用for循环将HashMap中的字掩码对放入。

您获得的最大收益（HashMap）是get / put操作（搜索键）是在恒定时间内完成的，它比数组中的O（n）甚至在O（log（n））都好。您对已排序的数组进行二进制搜索。

有了HashMap，您可以在过滤这些85KB文本的同时构建SringBuffer。 从您的方法返回String.toString（），您就完成了！ 问候-MS

PS：如果要在服务器上构建地图并在其他位置（在客户端）进行过滤，并且需要传输Dictionary，则HashMap不会这样做-无法序列化。 在这种情况下，请使用哈希表。 如果在同一台计算机上，则HashMap的内存效率更高。 后来，-MS