如何在大列表中搜索subString <String> -Java

Question

我有一个很大的list<String> ，大约有50,000条记录。 我想要一种有效的方法来搜索该List的特定subString并获取包含该subString的Strings 。

到目前为止，我的代码是这样的：

List<String> result = new ArrayList<>();
if (aCondition) {
 for (String file : arg) {
   if (file.toLowerCase().contains(tag.toLowerCase())) {
     result.add(file);
    }
  }
} 
return result;

Answer 1

这取决于您所说的有效 。

如果要达到“最小” CPU使用率，那么您就无能为力了。 并比较所有条目。 唯一明显的事情不做 ：调用tag.toLowerCase()每个循环体。 在进入循环之前，只需计算一次该值即可 ！

如果您想在更短的时间内获得结果，答案很简单：使用多个线程，并让每个线程搜索整个列表的“切片”（当然，这很快就会变得很复杂，因为您现在必须保留顺序和其他细微的东西）。

最后：你可能要考虑的工具， ElasticSearch -因为我们有专门正是这样做的各种产品：搜索文本的巨额资金。

Answer 2

考虑使用SQL数据库保存大量数据。

这样，您可以使用简单的查询来获取包含子字符串的结果String（请参见下面的示例）。 此外，您的内存将没有列表中加载的数据量。

例如

SELECT * from word_list_table WHERE word LIKE'%substring%'

Answer 3

如果您的处理器有多个内核，那就去使用并行流。

List<String> result = lines.parallelStream() //convert list to parallel stream
            .filter(line -> file.toLowerCase().contains(tag.toLowerCase()))    // check your condition 
            .collect(Collectors.toList());     // collect output    

如果您的处理器具有多个内核，因为打开了并行流，则以上代码将更快地处理您的字符串。