Python多处理无法导入模块

Question

我正在测试玩具代码以使用 python 的multiprocess并行化进程。 该代码可以在我的家用计算机上运行，但是当我将它迁移到我正在处理的远程服务器时，它会返回一个错误。

我首先在defs.py中定义函数

import numpy as np

def g(n):
    A = np.random.rand(n, n)
    B = np.random.rand(n, n)
    
    return A * B

def run_complex_operations(operation, input, pool):
    result = pool.map(operation, input)
    
    return result

Python 似乎找到defs.py ，因为当我运行下面的两行时，它返回了预期的结果

import defs
print(defs.g(1))

但是，当我运行以下代码以在多进程中使用我的函数时，Python 返回错误。

import defs
import numpy as np
import time
import multiprocessing as mp


x = 10
n = 10000
l = [n] * x


start = time.time()

if __name__ ==  '__main__':
    processes_pool = mp.Pool(3)
    l[:] = defs.run_complex_operations(defs.g, range(x), processes_pool)

错误是：

Process SpawnPoolWorker-1:
Traceback (most recent call last):
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\process.py", line 315, in _bootstrap
    self.run()
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\process.py", line 108, in run
    self._target(*self._args, **self._kwargs)
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\pool.py", line 114, in worker
    task = get()
  File "C:\ProgramData\Anaconda3\lib\multiprocessing\queues.py", line 358, in get
    return _ForkingPickler.loads(res)
ModuleNotFoundError: No module named 'defs'

问题的原因可能是什么？ 它必须与multiprocessing有关，因为 python 在 defs 模块中找到其他函数没有问题。

FWIW，python的服务器版本是3.8.5，我本地的python是3.9.7。

Answer 1

通常此错误的发生取决于您的执行路径。 当您在终端中运行 python 解释器时，您会在当前目录中调用它，它可能会找到您调用的源。 但是当你执行类似 python -m mysrcipt.py 的东西时，解释器可能指向另一个文件夹（这在很大程度上取决于你的系统设置）。 一种简单的检查方法是通过以下方式启动 python 脚本

from os import getcwd
print(getcwd())

并确保解释器指向正确的目录。

如果没有，您可以使用 os.chdir(yourPathHere) 更改执行路径，或者您可以在子文件夹（如果有）中添加一个__init__.py文件并执行 pip 安装。 在本地系统级别安装模块。 那么您应该可以在任何地方调用该模块

• 文档操作系统https://docs.python.org/3/library/os.html
• doc 使用 pip 制作模块https://packaging.python.org/en/latest/tutorials/packaging-projects/

祝你好运

Answer 2

当我将defs.py保存在当前工作目录中时（请参阅import os; os.getcwd() ），主文件会找到该模块，但 MP 中的子进程不会。

当我将defs.py保存在环境路径中时（请参阅import sys, print(sys.path) ），主文件和子进程都会找到该模块。

Answer 3

我没有足够的“声誉”来评论你的上一篇文章，所以我必须在这里再发一篇。 您的路径中包含的内容指向我提到的内容，当您创建一个具有多处理器的孩子时，它不会“意识到”父母的环境/上下文。 避免每次使用新模块都必须编辑路径的简单方法就是使用 pip 安装。 让 pip 为您完成工作：D

祝你好运~