Python的多处理的过程通信

Question

我已经了解了Python多进程的Pipes / Queues / Shared ctypes Objects / Managers，并且想将它们与Linux的匿名管道，命名管道，共享内存，套接字等进行比较。 我现在有以下问题

• Python的多处理的管道和队列模块基于匿名管道。 它提供命名管道吗？

• Python multiprocessing.sharedctypes是否支持独立的进程通信？ 我认为它仅支持父子进程或兄弟进程通信。

• 其中哪些仅用于亲子关系或兄弟情谊中，可以在独立过程或不同主机之间进行通信？

• 它们各自的特点是什么，我应该如何选择它们？

提前致谢。

Answer 1

您的问题涉及面很广，大多数答案都可以在multiprocessing模块文档中找到。

以下是一个简短的答案。

1. 多处理侦听器和客户端允许选择命名管道作为传输介质。

2. 从文档中 ：

   multiprocessing.sharedctypes模块提供了用于从共享内存中分配ctypes对象的功能，这些对象可以由子进程继承。

   您不能跨没有父子关系的进程使用multiprocessing.sharedctypes功能。

3. 管理 器 ， 侦听器和客户端跨不同主机上的进程或不具有父/子关系的进程进行工作。 AF_INET套接字系列可在不同主机上使用。 尽管如此，我还是建议不要这样做。 而是使用网络套接字或其他某种抽象机制。
4. 文档中很好地说明了差异和特征。

Python multiprocessing模块最初是通过threading API实现的。 到那时，它支持的功能有所增长，但核心思想保持不变。 multiprocessing模块旨在处理Python流程系列。 对于其他任何用途， subprocess模块都是更好的选择。

为了在多个主机之间分配任务和作业，有更好的解决方案抽象了低层基础结构。 您可以查看诸如Celery或Luigi之类的Python项目，或诸如Apache Mesos之类的更复杂的基础结构。