更优化的方式来做 itertools.combinations

Question

我试图找到 ~70,000 个 ID 的独特组合。 我目前正在执行itertools.combinations([list name], 2)以获得唯一的 2 ID 组合，但它已经运行了 800 多分钟。 有没有更快的方法来做到这一点？

我尝试将 ID 转换为矩阵，其中 ID 既是索引又是列，并使用itertools.product填充矩阵。

我也尝试用循环的手动方式来做。 但是在让它们运行了一整天之后，我的方法都没有真正运行完。

对于其他信息，我将它们存储到一个数据框中，以便稍后运行 function 来比较每个唯一的 ID 集。

Answer 1

(70_000 ** 69_000) / 2== 24 亿 - 它不是一个大到无法在几个小时内计算的数字（更新我在itertools.product(range(70000), 2)和它花了不到 70 秒，在 2017 时代的 i7 @3GHz 上，天真地使用单核）但是如果你想立即将这些数据保存在 memory 中，它们将不适合 - 如果你的系统配置为交换memory 在出现 MemoryError 错误之前写入磁盘，这可能会使程序减慢 2 个或更多数量级，因此，这就是您的问题所在。

itertools.combination在这方面做了正确的事情，无需尝试将其更改为其他内容：它一次会产生一个组合。 然而，你对结果所做的事情确实改变了一些事情：如果你正在将组合流式传输到一个文件而不是将它保存在 memory 中，那应该没问题，然后，这只是你无法加速的计算时间.

另一方面，如果您正在将组合收集到列表或其他数据结构中：这就是您的问题 - 不要这样做。

现在。 比你的问题更进一步，因为这些组合是可检查和可预测的，也许试图生成这些组合根本不是正确的方法 - 你没有详细说明如何使用这些组合，但如果在反应形式，或者在惰性形式上，你可能有一个即时的工作流程。

Answer 2

您的 Ram 将满载运行。 您可以使用 gc.collect() 或清空结果来解决这个问题，但必须在两者之间保存找到的结果。 您可以尝试类似于下面的代码。 我会创建单独的文件名或将结果保存到数据库中，因为结果文件会很大一些。 第二个循环的附加范围可能可以除以 2。

import gc
new_set=set()

for i in range(70000):
    new_set.add(i)

print(new_set)

combined_set=set()

for i in range(len(new_set)):
    print(i)
    if i % 300 ==0:
        with open("results","a") as f:
            f.write(str(combined_set))
        combined_set=set()
        gc.collect()
    for b in range(len(new_set)):
        combined_set.add((i,b))