[英]Python multiprocessing shared dict inside a class
我想了解多处理和管理器如何工作以共享内存
我有一个类,在类上创建了一个字典。 init我想使用多处理来调用填充字典的类函数(每个进程添加一个不同的键)。
import multiprocessing as mp
from multiprocessing import Process, Manager
class num:
def __init__(self):
manager = Manager()
d = manager.dict()
# Setup list of processes
processes = [mp.Process(target=self.f, args=(d,i)) for i in range(5)]
#Run processes
for p in processes:
p.start()
#Exit the completed processes
for p in processes:
p.join()
print d
def f(self,d,i):
d[str(i)] = []
d[str(i)].append(i)
if __name__ == '__main__':
test = num()
结果:
{'1': [], '0': [], '3': [], '2': [], '4': []}
f()里面的列表也需要共享吗? 怎么样和为什么?
您需要更改函数f
的行:
d['i'] = [i]
喜欢的东西
d[str(i)] = i
这样你的进程就不会覆盖共享字典中的彼此的条目。 在那之后,它适用于我(在Python 2.7.3中),打印出来
{'1': 1, '0': 0, '3': 3, '2': 2, '4': 4}
(另外,您发布的代码缺少import multiprocessing as mp
)
更新 :如果您只想将共享字典中的值作为列表,那么这是一个简单的更改,例如
d[str(i)] = [i]
如果您希望在所有进程中共享每个列表,那么您可能需要使用manager.list()
在主进程中创建这些列表,并将这些列表传递给所有子进程,例如:
count = 5
lists = [manager.list() for i in range(count)]
for i in range(count):
d[i] = lists[i]
processes = [mp.Process(target=self.f, args=(d,i, lists)) for i in range(count)]
[...]
def f(self,d,i, lists):
for j in range(i): # just an example to show
lists[j].append(i) # that the lists are shared between processes
我还尝试直接在托管dict中嵌套托管列表,但由于某种原因,这不起作用,并且子进程无法更新列表。 如图所示单独传递它们似乎有效,例如我可以让每个子进程更新多个列表:
{0: [1, 2, 3, 4], 1: [2, 3, 4], 2: [3, 4], 3: [4], 4: []}
更换:
d[str(i)].append(i)
有:
d[str(i)] += [i]
解决这个问题。
结果:
{'1': [1], '0': [0], '3': [3], '2': [2], '4': [4]}
但我真的想知道为什么。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.