在进程 python 中运行 function 时捕获实时 `stdout` 和 `stderr`

Question

我有一个 python function 并希望将它作为一个单独的进程运行，并带有multiprocessing package。

def run(ctx: Context):
    print("hello world!")
    return ctx

然后使用以下脚本将其作为单独的进程运行：

import multiprocessing

p = multiprocessing.Process(target=run, args=(ctx, ))
p.start()
p.join()

现在，我需要捕获上述过程的实时stdout和stderr 。 有没有什么办法像：

import subprocess
proc = subprocess.Popen(['python','fake_utility.py'],stdout=subprocess.PIPE)
while True:
  line = proc.stdout.readline()
  if not line:
    break

但是我需要传递 function 而不是使用Popen运行命令。 您知道当我在单独的进程中运行 function 时如何读取stdout吗？

Answer 1

我的方法是创建一个自定义上下文管理器，它可以临时用io.String()实例替换sys.stdout和sys.stderr以捕获 output 并返回它。 为此，您需要将Process的目标设为新的 function ，它可以设置上下文管理器并返回结果，为此使用了multiprocessing.Queue （顺便说一句，如果您希望run返回，则无论如何都需要其结果返回到主进程）：

from multiprocessing import Process, Queue

from io import StringIO
import sys

class CaptureOutput:
    def __enter__(self):
        self._stdout_output = ''
        self._stderr_output = ''

        self._stdout = sys.stdout
        sys.stdout = StringIO()

        self._stderr = sys.stderr
        sys.stderr = StringIO()

        return self

    def __exit__(self, *args):
        self._stdout_output = sys.stdout.getvalue()
        sys.stdout = self._stdout

        self._stderr_output = sys.stderr.getvalue()
        sys.stderr = self._stderr

    def get_stdout(self):
        return self._stdout_output

    def get_stderr(self):
        return self._stderr_output


def run(ctx):
    print("hello world!")
    print("It works!", file=sys.stderr)
    raise Exception('Oh oh!') # Comment out to have a successful completion
    return ctx

def worker(ctx, queue):
    import traceback

    with CaptureOutput() as capturer:
        try:
            result = run(ctx)
        except Exception as e:
            result = e
            print(traceback.format_exc(), file=sys.stderr)
    queue.put((result, capturer.get_stdout(), capturer.get_stderr()))

if __name__ == '__main__':
    queue = Queue()
    ctx = None # for demo purposes
    p = Process(target=worker, args=(ctx, queue))
    p.start()
    # Must do this call before call to join:
    result, stdout_output, stderr_output = queue.get()
    p.join()
    print('stdout:', stdout_output)
    print('stderr:', stderr_output)

印刷：

stdout: hello world!

stderr: It works!
Traceback (most recent call last):
  File "C:\Booboo\test\test.py", line 44, in worker
    result = run(ctx)
  File "C:\Booboo\test\test.py", line 36, in run
    raise Exception('Oh oh!') # Comment out to have a successful completion
Exception: Oh oh!