AsyncIO使用ProcessPoolExecutor在执行程序中运行

Question

我尝试使用ProcessPoolExecutor将阻止任务和非阻止（与I / O绑定）任务组合在一起，发现它的行为非常出乎意料。

class BlockingQueueListener(BaseBlockingListener):
    def run(self):
        # Continioulsy listening a queue
        blocking_listen()

class NonBlockingListener(BaseNonBlocking):
    def non_blocking_listen(self):
        while True:
           await self.get_message()


def run(blocking):
    blocking.run()


if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    executor = ProcessPoolExecutor()
    blocking = BlockingQueueListener()
    non_blocking = NonBlockingListener()
    future = loop.run_in_executor(executor, run(blocking))
    loop.run_until_complete(
        asyncio.gather(
            non_blocking.main(),
            future
        )
    )

我期望这两个任务可以同时进行控制，但是阻塞任务在ProcessPoolExecutor块中启动，并且永远不会返回控制权。 怎么会这样 在多处理执行程序中，将常规协程和期货结合起来的正确方法是什么？

Answer 1

这行：

future = loop.run_in_executor(executor, run(blocking))

实际上将运行阻塞函数并将其结果提供给执行程序。

根据文档 ，您需要显式传递该函数及其后的参数。

 future = loop.run_in_executor(executor, run, blocking)