[英]Python multiprocess with class instance
我有一個問題,它與我遇到的問題並沒有真正的關系,而是與為什么它不是問題有關。 也許有點愚蠢,但我對課程不是很熟悉,我正在努力學習。 假設我有一個定義如下的類:
import numpy as np
import multiprocessing as mp
class Foo(object):
def __init__(self, a):
self.a = a
def Sum(self, b):
self.a = np.random.randint(10)
return self.a + b, self.a
我創建了一個對象:
foo = Foo(1)
然后我想在不同進程之間並行計算不同 b 值的 Sum 結果:
def Calc(b):
return foo.Sum(b)
pool = mp.Pool(processes=2)
b = [0, 1, 2, 3]
out = pool.map(Calc, b)
print(out)
打印(在一種情況下是隨機的):
[(8, 8), (5, 4), (3, 1), (7, 4)]
哪個是正確的。 我的問題是不同的進程如何同時修改一個類屬性,在我們的例子中是 a(在這個例子中操作非常快,但在我的真實世界示例中,操作需要幾秒鍾甚至幾分鍾,因此並行化) 互不影響?
每個進程都是獨立的,它們之間沒有通信。 當您將 foo 對象發送到不同的進程時,它們不再是一回事——它們中的許多人都在做自己的事情。 您的問題實際上不是關於類或類實例,而是關於不同進程中發生的事情。
打印實例的 id 及其a
屬性可以說明。
import multiprocessing as mp
import numpy as np
class Foo(object):
def __init__(self, a):
self.a = a
def Sum(self, b):
s = f'I am {id(self)}, a before={self.a}'
self.a = np.random.randint(10)
print(f'{s} | a after={self.a}')
return self.a + b, self.a
foo = Foo(1)
def Calc(b):
return foo.Sum(b)
if __name__ == '__main__':
print(f'original foo id:{id(foo)}')
pool = mp.Pool(processes=2)
b = [0, 1, 2, 3, 5, 6, 7, 8]
out = pool.map(Calc, b)
print(out)
print(f'{id(foo)}.a is still {foo.a}')
# not sure why this is necessary
pool.terminate()
然后從命令提示符運行:
PS C:\pyprojects> py -m tmp
original foo id:2235026702928
I am 1850261105632, a before=1 | a after=4
I am 1905926138848, a before=1 | a after=1
I am 1850261105632, a before=4 | a after=8
I am 1905926138848, a before=1 | a after=9
I am 1850261105632, a before=8 | a after=2
I am 1905926138848, a before=9 | a after=9
I am 1850261105632, a before=2 | a after=7
I am 1905926138848, a before=9 | a after=3
[(4, 4), (2, 1), (10, 8), (12, 9), (7, 2), (15, 9), (14, 7), (11, 3)]
2235026702928.a is still 1
使用打印字符串:
import multiprocessing as mp
import numpy as np
import os
class Foo(object):
def __init__(self, a):
self.a = a
def Sum(self, b):
s = f'I am {id(self)}, a: before={self.a}'
self.a = np.random.randint(10)
s = f'{s} | after={self.a}'
return os.getpid(),s,(self.a + b, self.a),b
foo = Foo(1)
def Calc(b):
return foo.Sum(b)
if __name__ == '__main__':
print(f'original foo id:{id(foo)}')
pool = mp.Pool(processes=2)
b = [0, 1, 2, 3, 5, 6, 7, 8]
out = pool.map(Calc, b)
out.sort(key=lambda x: (x[0],x[-1]))
for result in out:
print(f'pid:{result[0]} b:{result[-1]} {result[1]} {result[2]}')
print(f'{id(foo)}.a is still {foo.a}')
pool.terminate()
...
PS C:\pyprojects> py -m tmp
original foo id:2466513417648
pid:10460 b:1 I am 2729330535728, a: before=1 | after=2 (3, 2)
pid:10460 b:3 I am 2729330535728, a: before=2 | after=5 (8, 5)
pid:10460 b:6 I am 2729330535728, a: before=5 | after=2 (8, 2)
pid:10460 b:8 I am 2729330535728, a: before=2 | after=2 (10, 2)
pid:13100 b:0 I am 2799588470064, a: before=1 | after=1 (1, 1)
pid:13100 b:2 I am 2799588470064, a: before=1 | after=6 (8, 6)
pid:13100 b:5 I am 2799588470064, a: before=6 | after=8 (13, 8)
pid:13100 b:7 I am 2799588470064, a: before=8 | after=0 (7, 0)
2466513417648.a is still 1
PS C:\pyprojects>
每個進程都使用自己的內存,因此它們不能修改另一個進程的類屬性。 另一方面,如果你對線程做同樣的事情——你會遇到競爭條件的問題。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.