关于在循环中使用 pathos 多处理的“池未运行”问题

Question

当我尝试在循环中进行一些并行计算时，

from pathos.multiprocessing import ProcessingPool as Pool
def add(x,y):
    return x+y
for i in range(10):
    pool = Pool(4)
    x = [0,1,2,3]
    y = [4,5,6,7]
    pool.map(add, x, y)
    pool.close()
    pool.join()

它返回错误：

ValueError: Pool not running

我能找到的唯一方法是：

for i in range(10):
    pool = Pool(4)
    pool.restart()
    x = [0,1,2,3]
    y = [4,5,6,7]
    pool.map(add, x, y)
    pool.close()
    pool.join()

我希望我可以在每次迭代中重新分配一个新池，但它似乎不起作用。 发生了什么？

Answer 1

我是pathos的作者。 在pathos中， Pool是 singleton，因此当您关闭池时...实例化一个新Pool实际上只会为您提供已关闭的池。 但是，有restart和clear 。 我想你可能正在寻找clear 。 因此，在join add clear()之后——那么新池的实例化将如您所料。

Python 3.7.16 (default, Dec  7 2022, 05:04:27) 
[Clang 10.0.1 (clang-1001.0.46.4)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import pathos.pools as pp
>>> pool = pp.ProcessPool()
>>> pool.map(lambda x:x*x, range(4))
[0, 1, 4, 9]
>>> pool.close()
>>> pool.join()
>>> pool.clear()
>>> 
>>> pool = pp.ProcessPool()
>>> pool.map(lambda x:x*x, range(4))
[0, 1, 4, 9]
>>> pool.close()
>>> pool.join()
>>> pool.clear()
>>>
>>> # actually, this works too (after the clear)...
>>> pool.map(lambda x:x*x, range(4))
[0, 1, 4, 9]
>>>