Python：如何写入子进程的标准输入并实时读取其 output

Question

我有 2 个程序。

第一个（实际上可以用任何语言编写，因此根本无法更改）如下所示：

#!/bin/env python3

import random

while True:
    s = input()  # get input from stdin
    i = random.randint(0, len(s))  # process the input
    print(f"New output {i}", flush=True)  # prints processed input to stdout

它永远运行，从stdin读取一些东西，处理它并将结果写入stdout 。

我正在尝试使用asyncio库在 Python 中编写第二个程序。
它将第一个程序作为子进程执行，并尝试通过其stdin为其提供输入并从其stdout检索结果。

到目前为止，这是我的代码：

#!/bin/env python3

import asyncio
import asyncio.subprocess as asp


async def get_output(process, input):
    out, err = await process.communicate(input)
    print(err) # shows that the program crashes
    return out

    # other attempt to implement

    process.stdin.write(input)
    await process.stdin.drain()  # flush input buffer

    out = await process.stdout.read()  # program is stuck here
    return out


async def create_process(cmd):
    process = await asp.create_subprocess_exec(
        cmd, stdin=asp.PIPE, stdout=asp.PIPE, stderr=asp.PIPE)
    return process


async def run():
    process = await create_process("./test.py")

    out = await get_output(process, b"input #1")
    print(out) # b'New output 4'
    out = await get_output(process, b"input #2")
    print(out) # b''
    out = await get_output(process, b"input #3")
    print(out) # b''
    out = await get_output(process, b"input #4")
    print(out) # b''

async def main():
    await asyncio.gather(run())

asyncio.run(main())

我很难实现get_output function。它需要一个字节串（根据 .communicate .communicate()方法的input参数的需要）作为参数，将其写入程序的stdin ，从其stdout读取响应并将其返回。

现在，只有第一次调用get_output正常工作。 这是因为.communicate()方法的实现调用了wait()方法，有效地导致程序终止（这不是故意的）。 这可以通过检查get_output function 中的err值来验证，它显示第一个程序到达了EOF 。 因此，对get_output的其他调用返回空字节串。

我尝试了另一种方法，但不太成功，因为程序卡在了out = await process.stdout.read()行。 我还没弄明白为什么。

我的问题是如何实现get_output function 以（近）实时捕获程序的 output 并使其保持运行？ 它不一定要使用asyncio ，但我发现这个库是迄今为止最好的库。

先感谢您 ！

Answer 1

如果第一个程序保证只打印一行 output 以响应它已读取的输入行，您可以将await process.stdout.read()更改为await process.stdout.readline()并且您的第二种方法应该工作。

它对您不起作用的原因是您的run function 有一个错误：它从不向子进程发送换行符。 因此，子进程卡在input()中并且从不响应。 如果您在传递给get_output的字节文字末尾添加\n ，则代码可以正常工作。