dask 分布式代码比相应的串行执行慢

Question

我有一个独立的 python 脚本的简单示例，它在我的桌面上运行，它有 4 个 CPU 节点，目前需要 0.735 秒。 目标是在我的 Linux 上使用单独的进程来克服 GIL 等的限制。

import numpy as np
import dask
from dask import delayed
from dask.distributed import Client
import time

def main():

    if __name__ == "__main__":

      client = Client()
      tmp,pres = setUpData()
      startTime = time.time()
      executeCalc(tmp,pres)
      stopTime = time.time()
      print(stopTime-startTime)

def setUpData():

    temperature = 273 + 20 * np.random.random([4,17,73,144])
    pres = ["1000","925","850","700","600","500","400","300","250","200","150","100","70","50","30","20","10"]
    level = np.array(pres)
    level = level.astype(float)*100
   return temperature,level

 def executeCalc(tmp,pres):
     potempList = []
     for i in range (0,tmp.shape[0]):
        tmpInstant = tmp[i,:,:,:]
        potempList.append(delayed(pot)(tmpInstant,pres))
     results = dask.compute(potempList,scheduler='processes',num_workers=4)
                      
def pot(tmp,pres):
   potemp = np.zeros((17,73,144))
   potemp = tmp * (100000./pres[:,None,None])
   return potemp

main()

这是相应的串行执行，仅进行了微不足道的修改，耗时 0.0024 秒。

def executeCalc(tmp,pres):
    potempList = []
    for i in range (0,tmp.shape[0]):
       tmpInstant = tmp[i,:,:,:]
       potemp = pot(tmpInstant,pres)

我哪里错了？ 至少对于这种微不足道的数据，执行时间应该是相同的。

Answer 1

这个假设是你出错的地方：

至少对于这种微不足道的数据，执行时间应该是相同的。

任何并行执行引擎都做与串行引擎相同的工作量，再加上很多额外的开销。 因此，您需要有足够的可并行化工作来证明启动调度程序、web 服务器、工作进程、跨工作人员传输工作和结果、序列化和反序列化所有输入、所有输出、监视和管理工作和工作人员所需的大量时间是合理的state等

要看到 dask 的好处，您需要一个比这大很多数量级的任务。

查看有关最佳实践的 dask 文档。 我在解释，但第一个建议是除非必须，否则不要使用 dask。