Python 多处理池：在完成任何 k 个作业后终止进程

Question

我有一个函数，我使用 Pool.starmap() 调用n进程。 我想在n中的任何k完成后终止所有进程。 我该如何实施？

Answer 1

在已提交的任务list上使用Pool.imap_unordered或concurrent.futures.as_completed可以更轻松地完成此操作。 无论哪种情况，解决方案都是一样的； 迭代结果迭代器k次（例如使用itertools.slice ），然后终止Pool （在Executor情况下，调用shutdown(cancel_futures=True) ，或确保手动取消所有未完成的任务）。 例如，而不是：

with Pool() as pool:
    results = pool.starmap(func, makes_tuples())

它将所有结果作为单个操作收集并消除您在中途停止处理的能力，您可以：

from itertools import islice

# Defined at global scope as simple wrapper to allow non-starmap functions to
# be used with iterators of argument tuples
def starcall_func(args):
    return func(*args)

...

with Pool() as pool:
     results = list(islice(pool.imap_unordered(starcall_func, makes_tuples()), k))

# When with exits, pool is terminated automatically, and only k results were collected