如何在 Python 中并行化生成器/迭代器的管道？

Question

假设我有一些 Python 代码，如下所示：

input = open("input.txt")
x = (process_line(line) for line in input)
y = (process_item(item) for item in x)
z = (generate_output_line(item) + "\n" for item in y)
output = open("output.txt", "w")
output.writelines(z)

此代码从输入文件中读取每一行，通过几个函数运行它，并将输出写入输出文件。 现在我知道函数process_line 、 process_item和generate_output_line永远不会相互干扰，我们假设输入和输出文件在不同的磁盘上，这样读取和写入不会相互干扰。

但是 Python 可能对此一无所知。 我的理解是Python会读取一行，依次应用每个函数，将结果写入输出，然后只有将第一行发送到输出后才会读取第二行，这样第二行就不会进入直到第一个管道退出。 我是否正确理解该程序将如何运行？ 如果这是它的工作方式，是否有任何简单的方法可以使多行可以同时在管道中，以便程序并行读取、写入和处理每个步骤？

Answer 1

你不能真正并行读取或写入文件； 最终，这些将成为您的瓶颈。 你确定你的瓶颈是 CPU，而不是 I/O？

由于您的处理不包含任何依赖项（根据您的说法），因此使用Python 的 multiprocessing.Pool 类非常简单。

有几种方法可以编写它，但更简单的 wrt 调试是找到独立的关键路径（代码中最慢的部分），我们将使其并行运行。 让我们假设它是 process_item。

……事实上，就是这样。 代码：

import multiprocessing.Pool

p = multiprocessing.Pool() # use all available CPUs

input = open("input.txt")
x = (process_line(line) for line in input)
y = p.imap(process_item, x)
z = (generate_output_line(item) + "\n" for item in y)
output = open("output.txt", "w")
output.writelines(z)

我还没有测试过，但这是基本思想。 池的 imap 方法确保以正确的顺序返回结果。

Answer 2

有没有什么简单的方法可以使多条线路可以同时在管道中

我写了一个库来做到这一点： https : //github.com/michalc/threaded-buffered-pipeline ，它在一个单独的线程中迭代每个迭代。

那是什么

input = open("input.txt")

x = (process_line(line) for line in input)
y = (process_item(item) for item in x)
z = (generate_output_line(item) + "\n" for item in y)

output = open("output.txt", "w")
output.writelines(z)

变成

from threaded_buffered_pipeline import buffered_pipeline

input = open("input.txt")

buffer_iterable = buffered_pipeline()
x = buffer_iterable((process_line(line) for line in input))
y = buffer_iterable((process_item(item) for item in x))
z = buffer_iterable((generate_output_line(item) + "\n" for item in y))

output = open("output.txt", "w")
output.writelines(z)

这增加了多少实际并行度取决于每个迭代中实际发生的事情，以及您拥有多少 CPU 内核/它们有多忙。

经典的例子是 Python GIL：如果每个步骤都相当占用 CPU，并且只使用 Python，那么不会添加太多并行性，并且这可能不会比串行版本快。 另一方面，如果每个网络 IO 都很重，那么我认为它可能会更快。