我的“工具”的Python线程或多处理

Question

我创建了一个脚本：

从.txt导入IP列表（大约5K）

连接到REST API并根据IP（每个IP的网络日志）执行查询

从API返回数据，并对数据进行一些计算

计算结果写入.csv

目前，这确实很慢，因为一次需要一个IP来完成所有操作，然后转到下一个IP。 我可能是错的，但是据我对线程或多处理的理解，我可能会有3-4个线程各自执行IP，这将极大地提高工具的速度。 我的理解正确吗？如果是，我应该考虑为任务执行线程还是多处理？

任何帮助都会令人惊讶

随机信息，运行有大量资源的python 2.7.5，Win7。

Answer 1

使用多处理的原始方法可以将文件分成5个相等的部分，并交给5个不同的进程将其结果写入5个不同的文件中，当所有进程完成后，您将合并结果。

您可以对Python线程拥有相同的逻辑，而无需太复杂。 由于瓶颈可能是API，因此可能不会有任何区别。 因此，最终在这里选择哪种方法并不重要。

不过，有两件事需要考虑：

• 使用线程，您并不是真正使用多个CPU，因此您拥有“浪费的资源”
• 使用多处理将使用多个处理器，但启动时会比较繁重...因此，如果脚本需要非常频繁地运行，则可以从永不停止脚本并保持进程活动中受益。

由于您提供的有关使用此脚本（或更好的说是程序）的场景的信息是有限的，因此很难说哪种方法更好。

Answer 2

multiprocessing绝对是前进的道路。 您可以启动一个读取IP并将其放入multiprocessing.Queue进程，然后进行一些从此队列读取的进程（取决于可用资源），连接到API并发出请求。 然后应并行发出这些请求，并且如果API可以处理这些请求，则您的程序应更快地完成。 如果计算复杂且耗时，则可以将API的输出放入另一个Queue ，从此处开始其他进程，可以读取它们并进行计算并存储结果。 您可能必须启动收集器过程以收集最终输出。

您可以在此stackoverflow问题中找到一些针对此类问题的示例代码。 如果您需要进一步的解释或示例代码，请在评论中告诉我。