在变量列表参数上继续创建线程的最佳方法

Question

我有一个事件，我每分钟都在收听返回列表； 它可以是空的、1 个元素或更多。 对于该列表中的这些元素，我想运行一个 function，它会每分钟监视该元素上的一个事件，持续 10 分钟。

为此，我写了那个脚本

from concurrent.futures import ThreadPoolExecutor
from time import sleep
import asyncio
import Client

client = Client()

def handle_event(event):
    for i in range(10):
        client.get_info(event)
        sleep(60)

async def main():
    while True:
        entires = client.get_new_entry()

        if len(entires) > 0:
            with ThreadPoolExecutor(max_workers=len(entires)) as executor:
                executor.map(handle_event, entires)

        await asyncio.sleep(60)

if __name__ == "__main__":
    loop = asyncio.new_event_loop()
    loop.run_until_complete(main())

但是，它不会继续监视条目，而是在先前的条目仍在监视时阻止。

知道我该怎么做吗？

Answer 1

首先让我解释一下为什么你的程序没有按照你想要的方式工作：这是因为你使用 ThreadPoolExecutor 作为上下文管理器，它不会关闭，直到通过调用 map 启动的所有线程都完成。 所以 main() 在那里等待，并且在所有工作完成之前，循环的下一次迭代不会发生。

有很多方法可以解决这个问题。 由于您已经在使用 asyncio，因此一种方法是将 Executor 的创建移动到一个单独的任务中。 主循环的每次迭代都会启动此任务的一个副本，该副本会一直运行到完成为止。 它是一个 async def function，所以这个任务的多个副本可以同时运行。

我更改了您的代码中的一些内容。 我没有使用客户端，而是使用了一些简单的打印语句。 我将随机长度的整数列表传递给 handle_event。 我每次通过 while True: 循环递增一个计数器，并将计数器的 10 倍添加到列表中的每个 integer。 这样可以很容易地看到旧呼叫如何持续一段时间，并与新呼叫混合在一起。 我也缩短了你的时间延迟。 所有这些更改都是为了方便，并不重要。

重要的变化是将 ThreadPoolExecutor 的创建移动到任务中。 为了使其与其他任务协作，它必须包含一个 await 表达式，因此我使用executor.submit而不是executor.map 。 submit返回一个 concurrent.futures.Future，它提供了一种等待所有调用完成的便捷方式。 另一方面， executor.map返回一个迭代器； 我想不出有什么好的方法可以将其转换为可等待的 object。

要将 concurrent.futures.Future 转换为可等待的 asyncio.Future，有一个 function asyncio.wrap_future。 当所有的未来都完成后，我退出 ThreadPoolExecutor 上下文管理器。 这将非常快，因为执行器的所有工作都已完成，因此它不会阻塞其他任务。

import random
from concurrent.futures import ThreadPoolExecutor
from time import sleep
import asyncio

def handle_event(event):
    for i in range(10):
        print("Still here", event)
        sleep(2)
        
async def process_entires(counter, entires):
    print("Counter", counter, "Entires", entires)
    x = [counter * 10 + a for a in entires]
    with ThreadPoolExecutor(max_workers=len(entires)) as executor:
        futs = []
        for z in x:
            futs.append(executor.submit(handle_event, z))
        await asyncio.gather(*(asyncio.wrap_future(f) for f in futs))

async def main():
    counter = 0
    while True:
        entires = [0, 1, 2, 3, 4][:random.randrange(5)]

        if len(entires) > 0:
            counter += 1
            asyncio.create_task(process_entires(counter, entires))

        await asyncio.sleep(3)

if __name__ == "__main__":
    asyncio.run(main())