优化模式匹配的运行时间

Question

假设您有两个列表，第一个由 700 个单词组成，第二个由 30.000 个可能的句子开头组成。 将有 21.000.000 种句子开头和单词的组合。

此外，大约有 400 个文件，每个可能的句子 + 单词组合都有一些结果。 每个文件由 170.000.000 行组成，结构如下：

this is the first sentence
    1. result for that sentence
    2. result for that sentence
    ...
    nth result for that sentence

this is the second sentence
    ...

this is the nth sentence
    ...

对于每个可能的句子+单词组合，我想找到包含有关组合的一些信息的结果文件（对于每个组合，只有一个出现组合的结果文件）并读出结果。 您可以在 for 循环中执行此操作：

all_results = []

#create combinations
for sentence in sentencelist:
    for word in wordlist:
        combo = str(sentence + ' ' + word)

        #loop through results file while no result for combination has bin found
        c_result = []
        while not c_result:
            for resultsfilename in os.listdir(resultsdirectory):
                with open(resultsfilename, 'r') as infile:
                    results = infile.read().splitlines()
                if combo in results:
                    c_result = function_to_find_pattern_based_on_continuation(continuation, results)

        #append results and reset c_result
        all_results.append(c_result)
        c_result = []

然而，这个算法的运行时间很长，我想知道如何改进它。 例如，我想知道如何防止一遍又一遍地加载结果文件。 此外，我想创建一个结果文件的副本，在从结果文件中读出句子+单词组合的结果后，可以在副本中删除它们（我不想更改驾驶）。 然而，每个结果文件大约有 7GB 大，所以将每个文件存储在一个变量中是没有意义的，对吧？

还有其他一些东西可以用来改善运行时吗？

Edit1：调整列表的大小 Edit2：在代码中添加while循环和注释

Answer 1

据我了解，您在这里有两个问题。

1. 您需要一些方法来减少几个大文件的 I/O。
2. 您需要一种方法来修改/复制其中一些大文件

我认为有几种方法可以解决这些问题。 首先，如果可能的话，我会使用像 sqlite 这样的数据库 - 这将消除您的大量文件打开/关闭问题。

其次，您可以在 for 循环中使用 python 的yield运算符（将其放在自己的函数中），然后将其作为生成器进行迭代，并在进行时像流一样对其进行编辑。 这将允许您存储结果（例如在文件中），而无需将它们全部放入一个列表中，该列表会很快耗尽内存。