用Python并行化程序

Question

我正在用Python处理大量文本，但是这对语言来说是一种新事物，并且还不知道如何在Py中使用多线程。

我的用例如下：

1. 单个生成器P（数据库/ XML），它生成文本T_s。
2. T_s中的每个文本都可以独立处理。 处理的文本组成T_p集。
3. 通过单个线程S将结果集写入文本文件/ XML /数据库。

数据量巨大，除内存中的当前数据外，所有处理均无法保留任何内容。

我将流程组织如下：

1. 生产者将文本放入Q_s队列中。
2. 有一组工作人员和一个管理人员，他们从队列中获取文本并在工作人员之间分发。
3. 每个工作人员将处理后的文本放入Q_p。
4. 接收进程从Q_p读取已处理的文本并将其持久化。

绕过所有Producer应该能够传达的信息，即它结束了将输入数据源读取到管理器和接收器的操作。

摘要。 到目前为止，我了解到，Py中的每个典型任务都有一个不错的lib /解决方案。 我当前的任务有什么吗？

Answer 1

由于CPython的特性（请参阅gil ），如果您的任务是CPU而不是I / O绑定的，则需要使用多个进程而不是线程。 Python随附了multiprocessing模块，该模块具有完成工作所需的一切。 具体来说，它具有池和线程安全队列 。

在您的情况下，您需要将输入和输出队列传递给每个工作线程，并且它们异步地从输入队列读取并写入输出队列。 单线程生产者/消费者仅在各自的队列上进行操作，仅将必要的内容保留在内存中。 这里唯一可能的怪癖是输出的顺序可能与输入的顺序不相关。

注意：您可以与JoinableQueue类通信状态。