如何为多线程设置超时？

Question

我有一个 function 解析 MongoDB 集合中的文档。 我想为每个线程设置一个超时，因为我不知道function2是否需要太多时间才能完成。 我尝试设置@timeout_decorator.timeout(60, use_signals=False) ，但显然它不起作用。

更好的替代品也被考虑在内。 非常感谢任何建议！

def function(collection):
    with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
        for document in collection.find({}, no_cursor_timeout=True):
            executor.submit(function2, document)

def function2(collection, document):
    try: 
        ... something ...

Answer 1

由于您使用的是executor.submit ，因此您提交的所有任务都将返回一个Future object，它有自己的方式来声明超时。

def function(collection):
    futures = []
    with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
        for document in collection.find({}, no_cursor_timeout=True):
            future = executor.submit(function2, document)
            futures.append(future)

futures = function(collection)
for future in concurrent.futures.as_completed(futures):
    result = future.result(timeout=60)

您可以在此处找到更多文档。