[英]Python multiprocessing (joblib) best way for argument passing
我注意到使用多处理(使用joblib)时会出现很大的延迟。 这是我的代码的简化版本:
import numpy as np
from joblib import Parallel, delayed
class Matcher(object):
def match_all(self, arr1, arr2):
args = ((elem1, elem2) for elem1 in arr1 for elem2 in arr2)
results = Parallel(n_jobs=-1)(delayed(_parallel_match)(self, e1, e2) for e1, e2 in args)
# ...
def match(self, i1, i2):
return i1 == i2
def _parallel_match(m, i1, i2):
return m.match(i1, i2)
matcher = Matcher()
matcher.match_all(np.ones(250), np.ones(250))
因此,如果我像上面所示运行它,它需要大约30秒才能完成并使用近200Mb。 如果我只是在并行中更改参数n_jobs并将其设置为1它只需要1.80秒并且几乎不使用50Mb ...
我想它必须与我传递参数的方式相关,但是没有找到更好的方法来做到这一点......
我正在使用Python 2.7.9
我已经重新编写了代码而没有使用joblib库,现在它的工作原理就像它应该工作一样,虽然不是那么“漂亮”的代码:
import itertools
import multiprocessing
import numpy as np
class Matcher(object):
def match_all(self, a1, a2):
args = ((elem1, elem2) for elem1 in a1 for elem2 in a2)
args = zip(itertools.repeat(self), args)
pool = multiprocessing.Pool()
results = np.fromiter(pool.map(_parallel_match, args))
# ...
def match(self, i1, i2):
return i1 == i2
def _parallel_match(*args):
return args[0][0].match(*args[0][1:][0])
matcher = Matcher()
matcher.match_all(np.ones(250), np.ones(250))
这个版本就像一个魅力,只需0.58秒即可完成......
那么,为什么它与joblib一起工作呢? 无法真正了解它,但我想joblib正在为每个进程制作整个数组的副本......
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.