[英]Python multiprocessing.Pool new process for each variable
我正在使用multiprocessing.Pool来循环遍历变量并向第三方程序进行API调用。 问题在于该API存在一些垃圾回收问题,因此对于我要运行的每个变量值,我都需要一个全新的过程。 有什么方法可以强制多处理关闭并启动列表中的每个值的新过程?
我的代码的一个简单示例是:
from multiprocessing import Pool
pool = Pool()
vals = range(0,100)
result = pool.map(api_call_function, vals)
谢谢!
将maxtasksperchild设置为1
应该会强制Pool为每个任务创建一个新进程:
pool = Pool(maxtasksperchild=1)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.