[英]How to create asyncio stream reader/writer for stdin/stdout?
我需要编写两个程序,它们将作为父进程及其子进程运行。 父进程生成子进程,然后通过连接到子进程stdin和stdout的一对管道进行通信。 通信是点对点的,这就是我需要asyncio的原因。 一个简单的读/回放循环是行不通的。
我写过父母。 没问题,因为asyncio
提供了我在create_subprocess_exec()
所需的一切。
但是我不知道如何在孩子中创建类似的流读取器/写入器。 我没想到会有任何问题。 因为已经创建了管道,并且在子进程启动时可以使用文件描述符0和1。 没有连接是打开的,不需要生成任何进程。
这是我不努力的尝试:
import asyncio
import sys
_DEFAULT_LIMIT = 64 * 1024
async def connect_stdin_stdout(limit=_DEFAULT_LIMIT, loop=None):
if loop is None:
loop = asyncio.get_event_loop()
reader = asyncio.StreamReader(limit=limit, loop=loop)
protocol = asyncio.StreamReaderProtocol(reader, loop=loop)
r_transport, _ = await loop.connect_read_pipe(lambda: protocol, sys.stdin)
w_transport, _ = await loop.connect_write_pipe(lambda: protocol, sys.stdout)
writer = asyncio.StreamWriter(w_transport, protocol, reader, loop)
return reader, writer
问题是我有两个运输工具,我应该有一个。 该函数失败,因为它尝试将协议的传输设置两次:
await loop.connect_read_pipe(lambda: protocol, sys.stdin)
await loop.connect_write_pipe(lambda: protocol, sys.stdout)
# !!!! assert self._transport is None, 'Transport already set'
我试图将伪协议传递给第一行,但这行也不正确,因为需要两个传输,而不仅仅是一个:
writer = asyncio.StreamWriter(w_transport, protocol, reader, loop)
我想我需要以某种方式将两个单向传输组合到一个双向。 或者我的方法完全错了? 你能给我一些建议吗?
更新 :经过一些测试后,这似乎有效(但对我来说不好看):
async def connect_stdin_stdout(limit=_DEFAULT_LIMIT, loop=None):
if loop is None:
loop = asyncio.get_event_loop()
reader = asyncio.StreamReader(limit=limit, loop=loop)
protocol = asyncio.StreamReaderProtocol(reader, loop=loop)
dummy = asyncio.Protocol()
await loop.connect_read_pipe(lambda: protocol, sys.stdin) # sets read_transport
w_transport, _ = await loop.connect_write_pipe(lambda: dummy, sys.stdout)
writer = asyncio.StreamWriter(w_transport, protocol, reader, loop)
return reader, writer
您的第一个版本失败,因为您使用了错误的协议作者; StreamReaderProtocol
实现了对传入连接和数据作出反应的钩子,这是写作方不会也不应该处理的事情。
loop.connect_write_pipe()
协程使用您传入的协议工厂并返回生成的协议实例。 您确实希望在流编写器中使用相同的协议对象,而不是用于阅读器的协议。
接下来,您不希望将stdin
读取器传递给stdout
流stdin
器! 该类假定读者和编写者连接到同一个文件描述符,而这种情况实际上并非如此。
在最近的过去,我构建了以下内容来处理子进程的stdio; stdio()
函数基于Nathan Hoad关于该主题的要点 ,加上Windows的后备,其中支持将stdio视为管道的限制 。
你确实希望asyncio.streams.FlowControlMixin
正确处理背压,所以我的版本使用(未记录的) asyncio.streams.FlowControlMixin
类作为协议; 你真的不需要更多:
import asyncio
import os
import sys
async def stdio(limit=asyncio.streams._DEFAULT_LIMIT, loop=None):
if loop is None:
loop = asyncio.get_event_loop()
if sys.platform == 'win32':
return _win32_stdio(loop)
reader = asyncio.StreamReader(limit=limit, loop=loop)
await loop.connect_read_pipe(
lambda: asyncio.StreamReaderProtocol(reader, loop=loop), sys.stdin)
writer_transport, writer_protocol = await loop.connect_write_pipe(
lambda: asyncio.streams.FlowControlMixin(loop=loop),
os.fdopen(sys.stdout.fileno(), 'wb'))
writer = asyncio.streams.StreamWriter(
writer_transport, writer_protocol, None, loop)
return reader, writer
def _win32_stdio(loop):
# no support for asyncio stdio yet on Windows, see https://bugs.python.org/issue26832
# use an executor to read from stdio and write to stdout
# note: if nothing ever drains the writer explicitly, no flushing ever takes place!
class Win32StdinReader:
def __init__(self):
self.stdin = sys.stdin.buffer
async def readline():
# a single call to sys.stdin.readline() is thread-safe
return await loop.run_in_executor(None, self.stdin.readline)
class Win32StdoutWriter:
def __init__(self):
self.buffer = []
self.stdout = sys.stdout.buffer
def write(self, data):
self.buffer.append(data)
async def drain(self):
data, self.buffer = self.buffer, []
# a single call to sys.stdout.writelines() is thread-safe
return await loop.run_in_executor(None, sys.stdout.writelines, data)
return Win32StdinReader(), Win32StdoutWriter()
虽然可能已经过时了一点,但我发现Nathaniel J. Smith在2016年的博客文章中对asyncio和curio 非常有帮助,因为它非常有助于理解asyncio,协议,传输和背压等所有这些内容的相互作用和挂起。 该文章还说明了为什么为stdio
创建reader和writer对象目前是如此冗长和繁琐。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.