你能在 Python 的多处理池中让 Pool 在多个不同的 Map 函数中保持打开状态吗？

Question

我想知道您是否可以让multiprocessing.Pool在多个不同map函数中保持打开状态？ 如果这是可能的，这种方法有什么缺陷吗？

我的一般用例是将池分配给 class 变量，例如self.pool ，然后在 class 中的各种不同的map函数中调用此self.pool - 例如， self.pool.map(func, args) 。 我的目标是最大限度地减少关闭然后重新启动每个工作pool的开销，这样我就可以无限期地保持它们打开并在需要时将self.pool.map作业传递给它们。

我看到的一个潜在陷阱是，我需要记住在使用self.pool内关闭 self.pool。

Answer 1

是的，您可以多次使用游泳池。 你的设计很好。 当然，您必须关闭，但封闭的 class 本身可以有一个def close(self): function 来执行此操作，并要求使用 class。如果需要，您甚至可以将 class 设为上下文管理器。 需要在 finally 块中捕获异常和关闭事物是 python 编程的标准费用。

举个例子，

import multiprocessing as mp
import threading

class MyClassWithPool:

    def __init__(self, workers=None):
        self._mp_pool_lock = threading.Lock()
        self._pool = None
        if workers is None:
            self._pool_count = min(2, int(mp.cpu_count() * .50))
        else:
            self._pool_count = workers
        # initialize your other stuff...

    @property
    def mp_pool(self):
        with self._mp_pool_lock:
            if self._pool is None:
                self._pool = mp.Pool(self._pool_count)
        return self._pool

    def close(self):
        with self._mp_pool_lock:
            if self._pool:
                self._pool.close()
                self._pool = None
        # ... any other cleanup ...

    def __del__(self):
        self.close()
    
def do_some_stuff(i):
    return i
    
def do_other_stuff(i):
    return i

def main():
    my_data = MyClassWithPool()
    try:
        result_1 = my_data.mp_pool.map(do_some_stuff, range(5))
        print(result_1)
        result_2 = my_data.mp_pool.map(do_other_stuff, range(99))
        print(result_2)
    finally:
        my_data.close()

if __name__ == "__main__":
    main()