通过jupyter笔记本使用dask分布式计算

Question

当我从jupyter笔记本中使用它时，我看到了来自dask的奇怪行为。 所以我发起了一个本地客户端并给它一份工作列表。 我的真实代码有点复杂，所以我在这里给你一个简单的例子：

from dask.distributed import Client

def inc(x):
 return x + 1

if __name__ == '__main__':
 c = Client()
 futures = [c.submit(inc, i) for i in range(1,10)]
 result = c.gather(futures)
 print(len(result))

问题在于，我意识到：1。Dask为此示例启动了9个以上的进程。 2.代码运行完成后（笔记本中没有任何内容正在运行），dask创建的进程不会被终止（并且客户端不会关闭）。 当我做顶部时，我可以看到所有这些进程仍然活着。

我在文档中看到有一个client.close（）选项，但有趣的是，0.15.2中不存在这样的功能。

dask进程被杀的唯一时间是我停止jupyter笔记本。 此问题导致奇怪且不可预测的性能行为。 无论如何，当笔记本电脑上没有运行代码时，进程可能会被杀死或客户端关闭吗？

Answer 1

默认Client允许传递给LocalCluster可选参数（请参阅文档 ），并允许您指定，例如，您希望的进程数。 此外，它是一个上下文管理器，它将在您完成后自行关闭并结束进程。

with Client(n_workers=2) as c:
    futures = [c.submit(inc, i) for i in range(1,10)]
    result = c.gather(futures)
    print(len(result))

结束时，将终止进程。