在 Python 中的实例方法上调用多处理池

Question

我有一个 Driver 类，它有一个实例方法 write。 我正在尝试使用 Python 多处理将此实例方法应用于队列中的对象。 这是我的代码。

类驱动程序：

def __init__(self, arg1, arg2, arg3):
   #initialize

def write(self, key):
    # do something

这是我在集合中调用它的方式。

def write_to_db(key, d=Driver(arg1=None, arg2=None, arg3=None)):
    d.write(key)

def main():
  .........
   with multiprocessing.Pool(processes=8) as pool:
                    driver = Driver(arg1=arg1, arg2=arg2, arg3=arg3)
                    _ = pool.map(write_to_db, (arr, driver))

我收到以下错误：

TypeError: can't pickle _thread.RLock objects

我怎样才能做到这一点？

Answer 1

简单的答案是你不能，如果你有共享状态，对象将不能被picklable并且python会抛出一个错误。 答案很长，要做到这一点，您必须在池中的进程内实例化对象。

您可以通过这种方式实例化池，

  with mp.Pool(processes=processes, initializer=_worker_init, initargs=(config,)) as pool:
        results = pool.map(_worker_apply, resources)

如果要传递配置resources则config passs 是各个进程将在其上工作的集合。

    def _worker_init(config):
        # initialize the object here


    def _worker_apply(payload):
        process = mp.current_process()
        return process.simulator.apply(payload)# implement the apply function to manage state of the object

希望这可以帮助。