Python 3.4多处理递归Pool.map（）

Question

我正在Ubuntu 14.04上使用Python 3.4进行开发。 我试图做递归Pool.map() 。 在我调用g() ，它挂在那里并且永不返回。

import multiprocessing as mp

pool = mp.Pool()

def d(x):
    return x / 2.0


def f(x):
    w = pool.map(d, x)
    return w

def g():
    v = pool.map(f, [[1, 2], [3, 4]])

    print(v)

Answer 1

从文档中 ：

请注意，池对象的方法仅应由创建池的进程调用。

当您在f()内部调用pool.map()时，会违反该规则。 此外，如果尝试让子进程创建自己的池，则会收到断言错误：

AssertionError: daemonic processes are not allowed to have children

Answer 2

这是不可能的。 Pool对象本身不能在进程之间安全地共享，因此不能在f和g使用同一池。 即使您可以执行此操作，也很快会导致挂起，因为您的池仅限于cpu_count()并发工作程序。 一旦开始递归地创建更多工作程序，最终将拥有超过cpu_count()工作程序，这将永远无法完成。 正在运行的工作人员将等待池中排队的任务，但是排队的任务将永远无法启动，因为正在运行的任务正在等待。 因此，您最终陷入僵局。 简而言之：不要尝试这样做。