Dask.distributed的擴展限制是多少？

Question

Dask.distributed部署有數百個工作節點的傳聞嗎？ 分布是否意味着擴展到這個大小的集群？

Answer 1

是

我見過的最大的Dask.distributed集群大約有一千個節點。 理論上我們可以變大，但不是很大。

當前限制是調度程序每個任務產生大約200微秒的開銷。 這相當於每秒約5000個任務。 如果您的每個任務大約需要一秒鍾，那么調度程序可以使大約5000個核心飽和。

從歷史上看，我們遇到了其他限制，例如打開文件句柄限制等。 這些已經被清理到我們已經看到的規模（1000個節點），並且在Linux或OSX上通常情況良好。 Windows上的Dask調度程序在數百個節點中停止擴展（盡管您可以將Linux調度程序與Windows工作程序一起使用）。 當我們擴展到10k節點時，我不會驚訝地看到其他問題。

簡而言之，您可能不希望使用Dask來替換百萬核心Big Iron SuperComputer或Google Scale上的MPI工作負載。 否則你可能沒事。