python 多处理 map function

Question

我在使用多处理 map function 编写 python 代码时遇到问题。重现该问题的最少代码如下

import multiprocessing as mp

if __name__ == '__main__':

    def f(x):
        return x*x

    num_workers = 2
    with mp.Pool(num_workers) as p:
        print(p.map(f, [1,2,3]))

如果运行这段代码，我会收到错误消息

AttributeError: Can't get attribute 'f' on <module '__mp_main__' from 'main.py'>

但是，如果我将 f 函数移到主 function 之外，即

import multiprocessing as mp

def f(x):
    return x*x

if __name__ == '__main__':

    num_workers = 2
    with mp.Pool(num_workers) as p:
        print(p.map(f, [1,2,3]))

这次成功了。 我想知道它们之间有什么区别以及如何在第一个版本中出现错误。 提前致谢。

Answer 1

这将因操作系统而异，但基本原因是这行代码

if __name__ == '__main__':

告诉 Python 解释器在作为脚本运行时仅在主进程中包含此代码部分中的任何内容 - 它不会包含在任何子进程中，如果将其作为模块导入也不会出现。 所以当你这样做时

import multiprocessing as mp

if __name__ == '__main__':

    def f(x):
        return x*x

    num_workers = 2
    with mp.Pool(num_workers) as p:
        print(p.map(f, [1,2,3]))

由 p.map 创建的任何子进程都不会具有 function f 的定义

Answer 2

根据您的操作系统，子进程将被分叉或生成。 例如，macOS 会产生，而 Windows 会产生分叉。

您可以强制执行分叉，但您需要充分理解这样做的含义。

对于这个特定问题，可以实施解决方法：

import multiprocessing as mp
from multiprocessing import set_start_method

if __name__ == '__main__':
    def f(x):
        return x*x
    set_start_method('fork')
    num_workers = 2
    with mp.Pool(num_workers) as p:
        print(p.map(f, [1,2,3]))