![](/img/trans.png)
[英]pool.apply_async, pool.map on rather complicated function
[英]Pool.apply_async(): nested function is not executed
我开始熟悉 Python 的multiprocessing
模块。 以下代码按预期工作:
#outputs 0 1 2 3
from multiprocessing import Pool
def run_one(x):
print x
return
pool = Pool(processes=12)
for i in range(4):
pool.apply_async(run_one, (i,))
pool.close()
pool.join()
但是,现在,如果我在上面的代码周围包装一个函数,则不会执行print
语句(或至少重定向输出):
#outputs nothing
def run():
def run_one(x):
print x
return
pool = Pool(processes=12)
for i in range(4):
pool.apply_async(run_one, (i,))
pool.close()
pool.join()
如果我移动run_one
的定义之外run
,输出的预期再一个,当我打电话run()
#outputs 0 1 2 3
def run_one(x):
print x
return
def run():
pool = Pool(processes=12)
for i in range(4):
pool.apply_async(run_one, (i,))
pool.close()
pool.join()
我在这里缺少什么? 为什么第二个片段不打印任何东西? 如果我只是调用run_one(i)
函数而不是使用apply_async
,则所有三个代码输出相同。
池需要腌制(序列化)它发送到其工作进程的所有内容。 Pickling 实际上只保存函数的名称,而 unpickling 需要按名称重新导入函数。 为此,该函数需要在顶级定义,嵌套函数将无法被子进程导入,并且已经尝试对它们进行腌制会引发异常:
from multiprocessing.connection import _ForkingPickler
def run():
def foo(x):
pass
_ForkingPickler.dumps(foo) # multiprocessing custom pickler;
# same effect with pickle.dumps(foo)
run()
# Out:
Traceback (most recent call last):
...
AttributeError: Can't pickle local object 'run.<locals>.foo'
您没有看到异常的原因是,因为Pool
在父级中的酸洗任务期间已经开始捕获异常,并且只有在您调用pool.apply_async()
时立即获得的AsyncResult
对象上调用.get()
时才会重新引发它们pool.apply_async()
.
这就是为什么(使用 Python 2)你最好总是这样使用它,即使你的目标函数不返回任何东西(仍然返回隐式None
):
results = [pool.apply_async(foo, (i,)) for i in range(4)]
# `pool.apply_async()` immediately returns AsyncResult (ApplyResult) object
for res in results:
res.get()
像Pool.map()
和Pool.starmap()
这样的非异步池方法在Pool.map()
使用相同的(异步)低级函数,就像它们的异步兄弟一样,但它们另外为你调用.get()
,所以你会总是看到这些方法的异常。
Python 3 有一个用于异步池方法的error_callback
参数,您可以使用它来处理异常。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.