如何在python多处理模块中使用部分函数？

Question

我正在寻找对函数使用多重处理模块的通用方法，该函数的参数已由position-OR-keyword类型（ https://docs.python.org/2/glossary.html#term-parameter ）定义。

以下是我如何解决此问题的简单示例

from functools import partial
from multiprocessing import Pool

def VariadicLifter(func, args):
  return func(*args)

def func(x,y,z,a):
  return x+2*y+3*z+4*a


if __name__ == '__main__':
  func_  = partial( func, 500, 1007)
  lfunc_ = partial( VariadicLifter, func_)


  RANGE = zip( range(10,31),range(10,31) )
  pool = Pool(processes=6)
  result_array = pool.map( lfunc_,  RANGE )

  pool.close()
  pool.join()

这行得通： lfunc_每次调用的结果在result_array中可用。

现在，我试图在另一个上下文中应用此模式，并且收到错误消息。

File "c:\Python27\lib\multiprocessing\pool.py", line 251, in map
  return self.map_async(func, iterable, chunksize).get()
File "c:\Python27\lib\multiprocessing\pool.py", line 567, in get
  raise self._value
cPickle.PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed

但是，如果我将多处理图替换为常规图，则程序运行不会出现问题。 多处理池的function参数是否有限制？ （我的理解是，至少lambda函数不能与多处理池一起使用）

谢谢

Answer 1

“有哪些局限性”是一个广泛的话题，但是现在您将面对的局限性在这里得到了更广泛的讨论： 为什么我可以将实例方法传递给multiprocessing.Process，而不传递给multiprocessing.Pool？

您的问题是使用局部。 结果将创建一个functools.partial对象，而不是一个函数。 您不能将实例方法传递给Pool.map ，它们必须是普通函数。 默认的腌制者无法腌制它们，因此会出现错误。

这不是解决您的问题的方法，只是解释为什么它不起作用。 链接的文章中有一个使用其他Pickler的解决方法，但我从未测试过。