cloudpickle：在不需要时意外导入我的本地模块

Question

在文件 ai2_kit/domain.py 中

def fun(ctx):
    def in_add(a, b):
        print (a+b)

    ctx.executor.run_python_fn(in_add)(1, 2)   # this pass
    ctx.executor.run_python_fn(out_add)(1, 2)  # this failed, the error is: ModuleNotFoundError: No module named 'ai2_kit'

def out_add(a, b):
    print(a+b)

方法run_python_fn定义在 ai2_kit/executor.py 中，基本思想是使用python -c在远程机器上执行 python 脚本。

    def run_python_script(self, script: str):
        return self.connector.run('python -c {}'.format(shlex.quote(script)))

    def run_python_fn(self, fn: T, python_cmd=None) -> T:
        def remote_fn(*args, **kwargs):
            dumped_fn = base64.b64encode(cloudpickle.dumps(lambda: fn(*args, **kwargs), protocol=pickle.DEFAULT_PROTOCOL)) 
            script = '''import base64,pickle; pickle.loads(base64.b64decode({}))()'''.format(repr(dumped_fn))
            self.run_python_script(script=script, python_cmd=python_cmd)

我不知道为什么在当前 function 之外使用ai2_kit ，方法out_add没有任何外部依赖项。 有什么方法可以解决这个问题？ 谢谢。 本地和远程 python 都是 v3.9。

Answer 1

我根据@jasonharper的解释想出了一个解决方案：

in_add是普通pickle无法处理的东西，因为没有全局定义的名称； cloudpickle认识到这一事实，并对实际的 function 定义进行编码，而不仅仅是名称。 out_add是普通pickle可以处理得很好的东西（假设相同的模块可用于执行 unpickling 的程序），因此cloudpickle认为它不需要对它做任何特殊的事情。

只需将out_add的定义更改为

def __out_add():
  def fn(a, b):
    print(a + b)
  return fn
out_add = __out_add()

def fun(ctx):
  ctx.executor.run_python_fn(out_add)(1, 2)

现在一切都很好。

对于要远程执行的函数应该这样定义，并且你需要确保它们不能直接依赖于本地模块中定义的任何函数或类（全局模块可以，只要确保它们也安装在远程python中).

一个好的做法是在你的项目下创建一个专用的remote package 并确保 package 中的所有方法和类都是通过这种特殊方式定义的，并且不要导入remote package 之外的任何东西。