我可以在 3 个进程之间共享一个 multiprocessing.Manager() 实例吗？

Question

我试图了解是否允许我在 python 中执行以下操作：

• 在我的程序中创建一个管理器实例
• fork 现有进程 N 次
• 在我的初始过程中，将数据发送到管理器（到一些共享变量）
• 在我的分叉进程中，从管理器读取数据（从共享变量）

根据我的理解，它应该是管理者的主要用例。 但是，我正在为超过 2 个进程尝试此操作，有时在尝试执行此操作时会出现 pickle 错误。 只有 2 个进程，它总是有效 我的问题是：这应该有效吗？

我想知道管理器系统是否可能不是基于文件描述符/套接字，所以它只能进行一对一通信，或者至少在默认情况下如此

Answer 1

不，您不能也不应该共享管理器实例。 该文档说“经理 object 控制管理共享对象的服务器进程。其他进程可以通过使用代理访问共享对象。”

multiprocessing.Manager提供了RPC(remote procedure call)功能，类似于Java RMI和MS COM。所以你应该区分服务器进程和客户端进程。 您需要了解start() 、 serve_forever() 、 connect()等 API。您不需要调用低级 API fork() 。

这是一个 RPC 服务器和客户端的例子。

import sys
from multiprocessing.managers import BaseManager

class MathsClass:
    def add(self, x, y):
        return x + y

class MyManager(BaseManager):
    pass

if __name__ == '__main__':
    mode = sys.argv[1]
    if mode == 'server':
        MyManager.register('Maths', MathsClass)
        manager = MyManager(address=('localhost', 3000), authkey=b'')
        manager.get_server().serve_forever()
    elif mode == 'client':
        MyManager.register('Maths', MathsClass)
        manager = MyManager(address=('localhost', 3000), authkey=b'')
        manager.connect()
        maths = manager.Maths()
        print(maths.add(4, 3))

您可以通过分别指定“服务器”和“客户端”命令行参数来运行服务器和客户端。 它使用 TCP 套接字，但也可以使用其他通道，例如 unix 套接字或名为 pipe 的 WIN32。

作为旁注，我将解释官方示例的工作原理。 我选择它是因为我认为它有点令人困惑。 以下是官方示例之一，为简洁起见进行了编辑。

from multiprocessing.managers import BaseManager

class MathsClass:
    def add(self, x, y):
        return x + y

class MyManager(BaseManager):
    pass

MyManager.register('Maths', MathsClass)

if __name__ == '__main__':
    with MyManager() as manager:
        maths = manager.Maths()
        print(maths.add(4, 3))

在with MyManager() as manager:行中， manager.start()是通过上下文管理器调用的。 这将创建一个服务器进程作为子进程。 服务器等待来自客户端的远程调用请求。 现在作为远程调用客户端的主进程调用maths.add() ，其中maths是代理 object。 maths.add(4, 3)调用将方法名称和 arguments 序列化为远程调用请求，并发送对服务器（子进程）的请求。 服务器将解析请求，执行MathsClass.add()的实际实现，将返回值序列化为远程调用响应，并将响应发送给客户端（主进程）。