[英]Python Class Utilizing Turtle object not working on Windows, Works on Linux
[英]Python pool not working in windows but works in linux
我正在使用 Python 3.7.4 在 Windows 10、英特尔酷睿 i7-8550U 处理器上尝试 python 多处理。
我正在使用两个函数测试多处理,一个是基本的 sleep(),另一个是使用 sklearn 的 matthews_corrcoef。 多处理适用于睡眠 function,但不适用于 sklearn function。
import numpy as np
from sklearn.metrics import matthews_corrcoef
import time
import concurrent.futures
from multiprocessing import Process, Pool
from functools import partial
import warnings
import sys
class Runner():
def sleeper(self, pred, man, thr = None):
return time.sleep(2)
def mcc_score(self, pred, man, thr = None):
warnings.filterwarnings("ignore")
return matthews_corrcoef(pred, man)
def pool(self, func):
t1 = time.perf_counter()
p = Pool()
meth = partial(func, pred, man)
res = p.map(meth, thres)
p.close()
t2 = time.perf_counter()
print(f'Pool {func.__name__} {round((t2-t1), 3)} seconds')
def vanilla(self, func):
t1 = time.perf_counter()
for t in thres:
func(pred, man)
t2 = time.perf_counter()
print(f'vanilla {func.__name__} {round((t2-t1), 3)} seconds')
if __name__== "__main__":
print(sys.version)
r = Runner()
thres = np.arange(0,1, 0.3)
print(f"Number of thresholds {len(thres)}")
pred = [1]*200000
man = [1]*200000
results = []
r.pool(r.mcc_score)
r.vanilla(r.mcc_score)
r.pool(r.sleeper)
r.vanilla(r.sleeper)
在 windows 中,对于 mcc_score function,使用 pool 实际上比香草版本慢,而在 Linux 中它可以正常工作。
这是示例输出
#windows
3.7.4 (default, Aug 9 2019, 18:34:13) [MSC v.1915 64 bit (AMD64)]
Number of thresholds 4
Pool mcc_score 3.247 seconds
vanilla mcc_score 1.591 seconds
Pool sleeper 5.828 seconds
vanilla sleeper 8.001 seconds
#linux
3.7.0 (default, Jun 28 2018, 13:15:42) [GCC 7.2.0]
Number of thresholds 34
Pool mcc_score 1.946 seconds
vanilla mcc_score 8.817 seconds
我浏览了 stackoverflow 中的文档和其他相关问题,其中主要说明使用if __name__== "__main__":
。 一些帮助将不胜感激,因为我已经坚持了很长一段时间了。 如果我错过了任何重要信息,请提及,我会提供。
首先,我将简化您的代码。 由于 class 中的方法从不使用 class 变量,因此我将跳过 class 方法并仅使用方法。
起点是multiprocessing文档中的示例。 为了查看使用Pool
的好处,我添加了两秒钟的睡眠时间并打印了一个时间戳。
import datetime
from multiprocessing import Pool
import time
def fx(x):
time.sleep(2)
print(datetime.datetime.utcnow())
return x*x
if __name__ == '__main__':
with Pool() as p:
print(p.map(fx, range(10)))
output 符合预期
2019-11-10 11:10:05.346985
2019-11-10 11:10:05.363975
2019-11-10 11:10:05.418941
2019-11-10 11:10:05.435931
2019-11-10 11:10:07.347753
2019-11-10 11:10:07.364741
2019-11-10 11:10:07.419707
2019-11-10 11:10:07.436697
2019-11-10 11:10:09.348518
2019-11-10 11:10:09.365508
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
由于我没有指定核心数量,因此使用了所有可用的核心(在我的机器 4 上)。 这可以在时间戳中看到:4 个时间戳彼此接近。 然后执行暂停,直到再次释放核心。
您想使用matthews_corrcoef
方法,该方法根据文档获取两个 arguments y_true
和y_pred
。
在使用该方法之前,让我们从上面修改测试方法,取两个 arguments:
def fxy(x, y):
time.sleep(2)
print(datetime.datetime.utcnow())
return x*y
从multiprocessing.pool.Pool的文档中我们了解到, map
只接受一个参数。 所以我将使用apply_async
来代替。 由于apply_async
返回结果对象而不是方法的返回值,因此我使用列表来存储结果并在单独的循环中获取返回值,如下所示:
if __name__ == '__main__':
with Pool() as p:
res = []
for i in range(10):
res.append(p.apply_async(fxy, args = (i, i)))
for item in res:
print(item.get())
这给出了与第一种方法类似的 output :
2019-11-10 11:41:24.987093
0
2019-11-10 11:41:24.996087
1
2019-11-10 11:41:25.008079
2019-11-10 11:41:25.002083
4
9
2019-11-10 11:41:26.988859
16
2019-11-10 11:41:27.009847
2019-11-10 11:41:27.009847
25
36
2019-11-10 11:41:27.011845
49
2019-11-10 11:41:28.989623
64
2019-11-10 11:41:29.019606
81
现在为matthews_corrcoef
。 为了更好地验证结果(您的pred
和man
在应用于matthews_corrcoef
时抛出错误),我使用了matthews_corrcoef文档中示例中的命名法和值。
import datetime
from multiprocessing import Pool
import numpy as np
from sklearn.metrics import matthews_corrcoef
def mcc_score(y_true, y_pred):
print(datetime.datetime.utcnow())
return matthews_corrcoef(y_true, y_pred)
y_true = [+1, +1, +1, -1]
y_pred = [+1, -1, +1, +1]
if __name__ == '__main__':
with Pool() as p:
res = []
for i in range(10):
res.append(p.apply_async(mcc_score, args = (y_true, y_pred)))
for item in res:
print(item.get())
结果如预期:
2019-11-10 11:49:07.309389
2019-11-10 11:49:07.345366
2019-11-10 11:49:07.375348
2019-11-10 11:49:07.393336
2019-11-10 11:49:07.412325
2019-11-10 11:49:07.412325
2019-11-10 11:49:07.412325
-0.3333333333333333
-0.3333333333333333
-0.3333333333333333
-0.3333333333333333
-0.3333333333333333
-0.3333333333333333
-0.3333333333333333
2019-11-10 11:49:07.420319
2019-11-10 11:49:07.420319
2019-11-10 11:49:07.413325
-0.3333333333333333
-0.3333333333333333
-0.3333333333333333
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.