如何在'joblib' Python 库中共享变量

Question

from joblib import Parallel, delayed

def func(v):
    temp.append(v)
    return

temp = []
Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

我想让共享内存变量。 但是temp的值为空[]。 我该怎么做？

对于其他方法，我尝试了 pickle.dump 和 load。 但是有一个锁定问题。 请给我建议！

Answer 1

from joblib import Parallel, delayed

def func(v):
    return v

temp = Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

delayed收集返回的输出通过func列表中并在完成返回。

Answer 2

您需要使用multiprocessing.Manager.list ，例如：

from joblib import Parallel, delayed
from multiprocessing import Manager

manager = Manager()
temp = manager.list()

def func(v, temp):
    temp.append(v)
    return

_ = Parallel(n_jobs=4)(delayed(func)(v, temp) for v in range(10))

temp[:] :

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]