python进程/线程映射在Windows中如何工作？为什么线程比进程更快？

Question

我试图找到一种更快的方式来运行numpy / sklearn在数据列表上执行某些任务。 我得到一些建议我在重型数据计算工作中使用进程而不是线程的书。 在执行此操作时，我发现线程的运行速度比Process快。 这是为什么？ 我应该选择哪种方式？

# -*- coding: utf-8 -*-
"""
Created on Tue Apr  2 10:20:19 2019

@author: Simon
"""
import time
import numpy as np

from sklearn import linear_model
from concurrent.futures import ProcessPoolExecutor as Pool
from concurrent.futures import ThreadPoolExecutor as Pool

xx, yy = np.meshgrid(np.linspace(0,10,1000), np.linspace(10,100,1000))
zz = 1.0 * xx + 3.5 * yy + np.random.randint(0,100,(1000,1000))

X, Z = np.column_stack((xx.flatten(),yy.flatten())), zz.flatten()


regr = linear_model.LinearRegression()


def regwork(t):
    X=t[0]
    Z=t[1]
    regr.fit(X, Z)
    a, b = regr.coef_, regr.intercept_
    return a

def numpywork(t):
    X=t[0]
    Z=t[1]
    for i in range(1):
        r=np.sum(X,axis=1)+np.log(Z)
    return np.sum(r)

if __name__=="__main__":
    r=regx((X,Z))
    rlist=[[X,Z]]*500



    start=time.clock()
    pool = Pool(max_workers=2)
    results = pool.map(numpywork, rlist)

    for ret in results:
        print(ret)
    print(time.clock()-start)

使用python 3.6在Win7-4 Real Core-I5-4700上运行。 这是输出：

方式| Workerjob | taskmgr中显示的进程数|工作时的Cpu负载|时间成本

2threads | numpy | 1个进程| 100％| 9s

2线程| sklearn | 1进程| 100％| 35s

2进程| numpy | 3进程| 100％| 36s

2进程| sklearn | 3进程| 100％| 77s

为什么处理会花费更多时间？ 如何找到更好的方法来降低时间成本并充分利用多核OS？

Answer 1

好。 我知道了 对于那些可以释放GIL的模块（例如numpy），使用线程后端将通过减少从主进程到子进程的Np对象复制成本来节省时间。