如何在未来运行时立即退出带有语句的ThreadPoolExecutor

Question

来自.Net 背景我试图理解 python 多线程使用concurrent.futures.ThreadPoolExecutor和submit 。 我试图为一些测试代码添加超时，但我意识到我并不完全理解我正在尝试做的事情的某些元素。 我在下面放了一些简化的代码。 当对concurrent.futures.wait(futures, return_when=FIRST_COMPLETED)的调用完成时，我希望该方法在大约 5 秒后返回。 事实上，它需要整整 10 秒。 我怀疑这与我对with语句的理解有关，因为将代码更改为thread_pool = concurrent.futures.ThreadPoolExecutor(max_workers=2)会导致我期望的行为。 添加对shutdown方法的调用不会执行任何操作，因为所有期货都已经在运行。 有没有办法在调用wait后立即退出with语句？ 我试过使用break和return但它们没有效果。 我正在使用 python 3.10.8

from concurrent.futures import FIRST_COMPLETED
import threading
import concurrent
import time

def test_multiple_threads():
    set_timeout_on_method()
    print("Current Time =", datetime.now()) # Prints time N + 10

  

def set_timeout_on_method():
    futures = []
    with concurrent.futures.ThreadPoolExecutor(max_workers=2) as thread_pool:
        print("Current Time =", datetime.now()) # Prints time N
        futures.append(thread_pool.submit(time.sleep, 5))
        futures.append(thread_pool.submit(time.sleep, 10))
        concurrent.futures.wait(futures, return_when=FIRST_COMPLETED)
        print("Current Time =", datetime.now()) # Prints time N + 5
    print("Current Time =", datetime.now()) # Prints time N + 10

Answer 1

据我所知，没有从ThreadPoolExecutor终止线程的本机方法，而且它甚至不是一个好主意，如现有答案中所述（ 展示 A ， 展示 B ）。

可以使用ProcessPoolExecutor中的进程执行此操作，但即便如此，主进程显然会等待所有已经启动的进程：

如果 wait 为 False 则此方法将立即返回，并且在所有未决期货执行完毕后将释放与执行程序关联的资源。 不管 wait 的值是多少，整个 Python 程序都不会退出，直到所有挂起的 futures 都执行完毕。

这意味着即使在 cca 5 秒后打印“End @”，脚本也会在 cca 20 秒后终止。

from concurrent.futures import FIRST_COMPLETED, ProcessPoolExecutor, wait
from datetime import datetime
from time import sleep

def multiple_processes():
    print("Start @", datetime.now())
    set_timeout_on_method()
    print("End @", datetime.now())

def set_timeout_on_method():
    futures = []

    with ProcessPoolExecutor() as executor:
        futures.append(executor.submit(sleep, 5))
        futures.append(executor.submit(sleep, 10))
        futures.append(executor.submit(sleep, 20))
        print("Futures created @", datetime.now())

        if wait(futures, return_when=FIRST_COMPLETED):
            print("Shortest future completed @", datetime.now())
            executor.shutdown(wait=False, cancel_futures=True)

if __name__ == "__main__":
    multiple_processes()

将max_workers设置为1时，整个脚本将花费大约 35 秒，因为（令我惊讶的是）尽管cancel_futures=True ，最后一个未来并没有被取消。

不过，你可以杀死工人。 这将使主进程立即完成：

...
    with ProcessPoolExecutor(max_workers=1) as executor:
        futures.append(executor.submit(sleep, 5))
        futures.append(executor.submit(sleep, 10))
        futures.append(executor.submit(sleep, 20))
        print("Futures created @", datetime.now())

        if wait(futures, return_when=FIRST_COMPLETED):
            print("Shortest future completed @", datetime.now())
            subprocesses = [p.pid for p in executor._processes.values()]
            executor.shutdown(wait=False, cancel_futures=True)

    for pid in subprocesses:
        os.kill(pid, signal.SIGTERM)
...

免责声明：请不要将此答案作为对您尝试实现的目标的建议。 这只是基于您的代码的头脑风暴。

Answer 2

问题是你不能取消Future如果它已经启动：

尝试取消呼叫。 如果调用当前正在执行或已完成运行且无法取消，则该方法将返回 False，否则调用将被取消并且该方法将返回 True。

为了证明这一点，我做了以下更改：

from concurrent.futures import (
    FIRST_COMPLETED,
    ThreadPoolExecutor,
    wait as futures_wait,
)
from time import sleep
from datetime import datetime


def test_multiple_threads():
    set_timeout_on_method()
    print("Current Time =", datetime.now())  # Prints time N + 10


def set_timeout_on_method():
    with ThreadPoolExecutor(max_workers=2) as thread_pool:
        print("Current Time =", datetime.now())  # Prints time N
        futures = [thread_pool.submit(sleep, t) for t in (2, 10, 2, 100, 100, 100, 100, 100)]
        futures_wait(futures, return_when=FIRST_COMPLETED)
        print("Current Time =", datetime.now())  # Prints time N + 5
        print([i.cancel() if not i.done() else "DONE" for i in futures])
    print("Current Time =", datetime.now())  # Prints time N + 10


if __name__ == '__main__':
    test_multiple_threads()

如您所见，只完成了三个任务。 ThreadPoolExecutor实际上是基于threading模块和 Python 中的Thread不能以一些常规方式停止。 检查这个答案