并行递归python

Question

我现在正在处理一个大数据集。 我的输入将是4个不同的数据集，我必须对每个数据集应用特定的功能。 因此，我要做的是读取所有四个数据集，并使用pool.map将函数并行应用于每个数据集。 所以现在我有一个父母和4个孩子的过程。 到目前为止一切都很好。

Q1。 现在，每个过程内部发生了什么。 在我应用于每个数据集的函数中，我正在将每个元组与其他元组进行比较，因此这是一种递归。 有没有办法使其并行，因为由于数据集很大，所以这种比较可能需要很长时间。 由于它已经是子进程，如何制作？ 是否可以在子进程中再次并行化它，因为我有更多的处理器，所以我想利用它。

Q2。 对于此递归任务的并行化，我想到的是，如果我将元组x与元组y（每个元组与所有其他元组）进行比较，则我可以为x制作块，每个块都与y进行比较。 我猜这可以通过两个“ for循环”来完成。 有什么建议怎么做？

Answer 1

回复：问题1，如果要使用multiprocessing.Pool创建子进程，则否，工作进程不能有子进程。 尝试创建一个将引发异常：

AssertionError: daemonic processes are not allowed to have children

理由很清楚- Pool的进程是守护进程，并且守护进程不能有子进程。 这样做的原因是，终止父进程将终止其守护进程子进程，但是守护进程子进程将无法终止其子进程，这将留下孤立进程。 这在文档中说明 ：

请注意，不允许守护进程创建子进程。 否则，如果守护进程在其父进程退出时被终止，它将使其子进程变成孤儿。

您可以通过父进程创建一组非守护Process对象来解决此问题，而不是使用Pool 。 然后，每个孩子都可以创建自己的multiprocessing.Pool ：

import multiprocessing

def subf(x):
    print "in subf"

def f(x):
    print "in f"
    p = multiprocessing.Pool(2)
    p.map(subf, range(2))


if __name__ == "__main__":
    processes = []
    for i in range(2):
        proc = multiprocessing.Process(target=f, args=(i,))
        proc.start()
        processes.append(proc)

输出：

in f
in f
in subf
in subf
in subf
in subf

由于您的初始数据集仅包含四个项目，因此这种方法似乎对您有效。 您可以只为数据集中的每个项目创建一个Process ，并且仍然有一些免费的CPU可供每个子流程备用，以供在小型Pool 。

回复：Q2，听起来您可以使用itertools.product在要比较的每对元组中创建一个大的可迭代对象。 然后，您可以使用pool.map并行比较每对。 这是显示其工作原理的示例：

def f(x):
    print(x)

if __name__ == "__main__":
    # Create two lists of tuples, like your use-case
    x = zip(range(3), range(3,6))
    y = zip(range(6, 9), range(9, 12))

    pool = multiprocessing.Pool()
    pool.map(f, itertools.product(x, y))

输出：

((0, 3), (6, 9))
((0, 3), (7, 10))
((0, 3), (8, 11))
((1, 4), (6, 9))
((1, 4), (7, 10))
((1, 4), (8, 11))
((2, 5), (6, 9))
((2, 5), (8, 11))
((2, 5), (7, 10))