簡體   English   中英

多處理.Manager()。dict()。setdefault()壞了嗎?

[英]Is multiprocessing.Manager().dict().setdefault() broken?

其后期和非常可能是愚蠢的部門提出:

>>> import multiprocessing
>>> mgr = multiprocessing.Manager()
>>> d = mgr.dict()
>>> d.setdefault('foo', []).append({'bar': 'baz'})
>>> print d.items()
[('foo', [])]         <-- Where did the dict go?

鑒於:

>>> e = mgr.dict()
>>> e['foo'] = [{'bar': 'baz'}]
>>> print e.items()
[('foo', [{'bar': 'baz'}])]

版:

>>> sys.version
'2.7.2+ (default, Jan 20 2012, 23:05:38) \n[GCC 4.6.2]'

蟲子還是玩意兒?

編輯:更多相同,在python 3.2:

>>> sys.version
'3.2.2rc1 (default, Aug 14 2011, 21:09:07) \n[GCC 4.6.1]'

>>> e['foo'] = [{'bar': 'baz'}]
>>> print(e.items())
[('foo', [{'bar': 'baz'}])]

>>> id(type(e['foo']))
137341152
>>> id(type([]))
137341152

>>> e['foo'].append({'asdf': 'fdsa'})
>>> print(e.items())
[('foo', [{'bar': 'baz'}])]

dict代理中的列表如何不包含其他元素?

這是一些非常有趣的行為,我不確定它是如何工作的,但我會解釋為什么行為是這樣的。

首先,請注意multiprocessing.Manager().dict()不是dict ,它是一個DictProxy對象:

>>> d = multiprocessing.Manager().dict()
>>> d
<DictProxy object, typeid 'dict' at 0x7fa2bbe8ea50>

DictProxy類的目的是為您提供一個可以安全地跨進程共享的dict ,這意味着它必須在普通的dict函數之上實現一些鎖定。

顯然,這里實現的一部分是不允許您直接訪問嵌套在DictProxy內部的可變對象,因為如果允許的話,您將能夠以繞過使DictProxy安全的所有鎖定的方式修改您的共享對象。采用。

以下是一些證據表明您無法訪問可變對象,這與setdefault()內容類似:

>>> d['foo'] = []
>>> foo = d['foo']
>>> id(d['foo'])
140336914055536
>>> id(foo)
140336914056184

使用普通字典,您可能希望d['foo']foo指向同一個列表對象,對其中一個的修改會修改另一個。 如您所見,由於多處理模塊強加了額外的過程安全性要求,因此DictProxy類不是這種情況。

編輯: 多處理文檔中的以下注釋闡明了我上面要說的內容:


注意:對dict和列表代理中的可變值或項的修改不會通過管理器傳播,因為代理無法知道何時修改其值或項。 要修改此類項,可以將修改后的對象重新分配給容器代理:

# create a list proxy and append a mutable object (a dictionary)
lproxy = manager.list()
lproxy.append({})
# now mutate the dictionary
d = lproxy[0]
d['a'] = 1
d['b'] = 2
# at this point, the changes to d are not yet synced, but by
# reassigning the dictionary, the proxy is notified of the change
lproxy[0] = d

根據以上信息,以下是如何重寫原始代碼以使用DictProxy

# d.setdefault('foo', []).append({'bar': 'baz'})
d['foo'] = d.get('foo', []) + [{'bar': 'baz'}]

正如Edward Loper在評論中建議的那樣,編輯上面的代碼使用 get() 而不是 setdefault()

Manager()。dict()是一個DictProxy對象:

>>> mgr.dict()
<DictProxy object, typeid 'dict' at 0x1007bab50>
>>> type(mgr.dict())
<class 'multiprocessing.managers.DictProxy'>

DictProxy是BaseProxy類型的子類,它的行為完全不像普通的dict: http ://docs.python.org/library/multiprocessing.html?highlight = multipleprocessing #multiprocessing.managers.BaseProxy

因此,似乎你必須以不同於基礎字典的方式處理mgr.dict()。

items()返回一個副本。 附加副本不會影響原件。 你的意思是?

>>> d['foo'] =({'bar': 'baz'})
>>> print d.items()
[('foo', {'bar': 'baz'})]

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM