python：multiprocessing.Pipe 和重定向标准输出

Question

我正在使用multiprocessing包来生成第二个进程，我想从中将 stdout 和 stderr 重定向到第一个进程。 我正在使用multiprocessing.Pipe对象：

dup2(output_pipe.fileno(), 1)

其中output_pipe是multiprocessing.Pipe一个实例。 但是，当我尝试在另一端阅读时，它就挂了。 我尝试使用有限制的Pipe.recv_bytes进行读取，但这会引发OSError 。 这是可能的还是我应该切换到一些较低级别的管道功能？

Answer 1

在Python 2.7中进行实验后，我得到了这个工作示例。 使用os.dup2管道的文件描述符被复制到标准输出文件描述符，并且每个print函数最终都写入管道。

import os
import multiprocessing


def tester_method(w):
    os.dup2(w.fileno(), 1)

    for i in range(3):
        print 'This is a message!'


if __name__ == '__main__':
    r, w = multiprocessing.Pipe()

    reader = os.fdopen(r.fileno(), 'r')

    process = multiprocessing.Process(None, tester_method, 'TESTER', (w,))
    process.start()

    for i in range(3):
        print 'From pipe: %s' % reader.readline()

    reader.close()
    process.join()

输出：

From pipe: This is a message!

From pipe: This is a message!

From pipe: This is a message!

Answer 2

现有答案适用于原始文件描述符，但这对于使用 Pipe.send() 和 recv 可能很有用：

    class PipeTee(object):
        def __init__(self, pipe):
            self.pipe = pipe
            self.stdout = sys.stdout
            sys.stdout = self

        def write(self, data):
            self.stdout.write(data)
            self.pipe.send(data)

        def flush(self):
            self.stdout.flush()

        def __del__(self):
            sys.stdout = self.stdout

要使用此功能，在你的多进程函数来创建对象，通过它的写入侧multiprocessing.Pipe ，然后在父进程使用读出侧recv ，采用poll ，以检查是否存在的数据。