[英]Python sharing a lock between processes
我正在尝试使用部分函数,以便 pool.map() 可以针对具有多个参数的函数(在本例中为 Lock() 对象)。
这是示例代码(取自我上一个问题的答案):
from functools import partial
def target(lock, iterable_item):
for item in items:
# Do cool stuff
if (... some condition here ...):
lock.acquire()
# Write to stdout or logfile, etc.
lock.release()
def main():
iterable = [1, 2, 3, 4, 5]
pool = multiprocessing.Pool()
l = multiprocessing.Lock()
func = partial(target, l)
pool.map(func, iterable)
pool.close()
pool.join()
但是,当我运行此代码时,出现错误:
Runtime Error: Lock objects should only be shared between processes through inheritance.
我在这里缺少什么? 如何在我的子进程之间共享锁?
您不能将普通的multiprocessing.Lock
对象传递给Pool
方法,因为它们不能被腌制。 有两种方法可以解决这个问题。 一种是创建Manager()
并传递一个Manager.Lock()
:
def main():
iterable = [1, 2, 3, 4, 5]
pool = multiprocessing.Pool()
m = multiprocessing.Manager()
l = m.Lock()
func = partial(target, l)
pool.map(func, iterable)
pool.close()
pool.join()
不过,这有点重量级; 使用Manager
需要生成另一个进程来托管Manager
服务器。 并且所有acquire
/ release
锁的调用都必须通过 IPC 发送到该服务器。
另一个选项是在池创建时使用initializer
kwarg 传递常规multiprocessing.Lock()
。 这将使您的锁实例在所有子工作者中全局化:
def target(iterable_item):
for item in items:
# Do cool stuff
if (... some condition here ...):
lock.acquire()
# Write to stdout or logfile, etc.
lock.release()
def init(l):
global lock
lock = l
def main():
iterable = [1, 2, 3, 4, 5]
l = multiprocessing.Lock()
pool = multiprocessing.Pool(initializer=init, initargs=(l,))
pool.map(target, iterable)
pool.close()
pool.join()
第二种解决方案的副作用是不再需要partial
。
这是一个版本(使用Barrier
而不是Lock
,但你明白了)它也可以在 Windows 上运行(丢失的fork
会导致额外的麻烦):
import multiprocessing as mp
def procs(uid_barrier):
uid, barrier = uid_barrier
print(uid, 'waiting')
barrier.wait()
print(uid, 'past barrier')
def main():
N_PROCS = 10
with mp.Manager() as man:
barrier = man.Barrier(N_PROCS)
with mp.Pool(N_PROCS) as p:
p.map(procs, ((uid, barrier) for uid in range(N_PROCS)))
if __name__ == '__main__':
mp.freeze_support()
main()
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.