如何“轮询”python 多进程池 apply_async

Question

我有一个这样的任务 function：

def task (s) :
    # doing some thing
    return res

原程序是：

res = []
for i in data :
    res.append(task(i))
    # using pickle to save res every 30s

我需要处理大量数据，我不关心结果的 output 顺序。 由于运行时间较长，需要定时保存当前进度。 现在我将其更改为多处理

pool = Pool(4)
status = []
res = []
for i in data :
    status.append(pool.apply_async(task, (i,))

for i in status :
    res.append(i.get())
    # using pickle to save res every 30s

假设我在池中有进程 p0、p1、p2、p3 和 10 个任务，(task(0).... task(9))。 如果 p0 需要很长时间才能完成任务 (0)。

1. 主进程是否在第一个“res.append(i.get())”处被阻塞？
2. 如果p1完成task(1)，p0还在处理task(0)，p1会继续处理task(4)还是更晚？
3. 如果第一个问题的答案是肯定的，那么如何提前得到其他的结果。 最后得到task(0)的结果

Answer 1

1. 是的

2. 是的，因为流程是异步提交的。 如果输入可迭代的大小大于最大进程/工作者数， p1 （或其他）也会获取另一块数据

3. “……如何提前得到其他结果”
   一种方便的选择是依赖concurrent.futures.as_completed ，它将在完成时返回结果：

---

import time
import concurrent.futures


def func(x):
    time.sleep(3)
    return x ** 2


if __name__ == '__main__':
    data = range(1, 5)
    results = []

    with concurrent.futures.ProcessPoolExecutor(4) as ex:
        futures = [ex.submit(func, i) for i in data]
        # processing the earlier results: as they are completed
        for fut in concurrent.futures.as_completed(futures):
            res = fut.result()
            results.append(res)
            print(res)

---

样本 output：

4
1
9
16

---

另一种选择是在apply_async(func[, args[, kwds[, callback[, error_callback]]]])调用上使用callback ； 回调仅接受单个参数作为 function 的返回结果。在该回调中，您可以以最少的方式处理结果（考虑到它仅绑定到一个具体函数的单个参数/结果）。 总体方案如下所示：

def res_callback(v):
    # ... processing result
    with open('test.txt', 'a') as f:  # just an example
        f.write(str(v))
    print(v, flush=True)


if __name__ == '__main__':
    data = range(1, 5)
    results = []
    with Pool(4) as pool:
        tasks = [pool.apply_async(func, (i,), callback=res_callback) for i in data]
        # await for tasks finished

但是该模式仍然需要以某种方式等待（ get()结果）提交的任务。