python多处理，管理器启动进程生成循环

Question

我有一个简单的python多处理脚本，它设置一个工作池，试图将工作输出附加到Manager列表。 该脚本有3个调用堆栈： - 主调用f1，它产生几个调用另一个函数g1的工作进程。 当一个人试图调试脚本时（偶然在Windows 7/64 bit / VS 2010 / PyTools上），脚本会运行到嵌套的进程创建循环中，从而产生无数个进程。 谁能确定原因？ 我确定我错过了很简单的事情。 这是有问题的代码： -

import multiprocessing
import logging

manager = multiprocessing.Manager()
results = manager.list()

def g1(x):
    y = x*x
    print "processing: y = %s" % y
    results.append(y)

def f1():
    logger = multiprocessing.log_to_stderr()
    logger.setLevel(multiprocessing.SUBDEBUG)

    pool = multiprocessing.Pool(processes=4)
    for (i) in range(0,15):
        pool.apply_async(g1, [i])
    pool.close()
    pool.join()

def main():
    f1()

if __name__ == "__main__":
    main()

PS：尝试将multiprocessing.freeze_support()添加到main无济于事。

Answer 1

基本上，sr2222在他的评论中提到的是正确的。 从多处理管理器文档中 ，它表示____main____模块必须由孩子们输入。 每个管理器“对象对应一个衍生的子进程” ，因此每个子进程基本上都是重新导入你的模块（你可以看到在模块范围内添加一个print语句到我的固定版本！）......这会导致无限递归。

一种解决方案是将您的经理代码移动到f1（）：

import multiprocessing
import logging

def g1(results, x):
    y = x*x
    print "processing: y = %s" % y
    results.append(y)

def f1():
    logger = multiprocessing.log_to_stderr()
    logger.setLevel(multiprocessing.SUBDEBUG)
    manager = multiprocessing.Manager()
    results = manager.list()
    pool = multiprocessing.Pool(processes=4)
    for (i) in range(0,15):
        pool.apply_async(g1, [results, i])
    pool.close()
    pool.join()


def main():
    f1()

if __name__ == "__main__":
    main()