python multiprocessing动态创建的进程和管道

Question

我希望能够基于定义子级的输入文件在父级和子级元素之间动态创建子级进程和管道。

我可以创建子进程，但是我需要能够创建管道以与特定节点进行通信，并使用这些管道发送特定的处理数据：

if __name__ == '__main__':
    q = mp.Queue()
    t = mp.Process(name="transactor", target=t, args=("transaction.csv",))
    nodes = [mp.Process(name=str(n), target=f, args=(n,)) for n in nodeArray]

    for node in nodes:
        node.start()

我的问题在于我不了解，如果创建的进程数可能会改变，那么如果您仅知道目标节点或子代的身份，那么如何创建可变数量的管道并选择与之通信的正确管道呢？

我对python有点不了解，我看到了很多将Python的mulitprocessing库用于简单的父子进程和管道的好例子，但是没有

Answer 1

创建流程时创建您的管道，并返回流程管道的元组。

import multiprocessing as mp

def mkproc(func):
    parent_conn, child_conn = mp.Pipe()
    p = mp.Process(func, args=(child_conn,))
    p.start()
    return (p, parent_conn)

调用mkproc创建进程后，将结果存储在列表中；

allprocs = [mkproc(f) for f in (foo, bar, baz)]

现在， allproc的内容是（ Process ， Pipe ）元组的列表。 如果您遍历该列表，那么您将拥有该进程及其所属的管道。

for proc, conn in allprocs:
    # do something with the process or pipe.