Dask.distributed 杀死工人每次我跑步

Question

我一直遇到 dask.distributed 的问题。 每次我运行它时，它总是有 memory 问题并杀死我的工人，在我的笔记本电脑上运行时。 我有一台 16GB 的笔记本电脑并运行 4 个工作人员，当我尝试运行计算时，它似乎立即杀死了工作人员。 我尝试将内存限制为 3.5 GB，但这不起作用。 我的块大小约为 200MB。 我正在使用存储了 3diim 数组的 zarr 文件。 所以我不明白为什么我有这个问题。 几个月前我让它工作了，当这个问题发生时，我花了一些时间离开它。 我厌倦了一个较小的整体数据集，并且发生了同样的问题。 有什么想法吗？ 当我在分布式之外运行它时，我没有同样的问题吗？

如果有人有想法，很高兴显示错误报告和最小示例？

Answer 1

我建议查看日志。 发生KilledWorker错误的原因有很多。 例如，您可能没有在所有地方都使用相同版本的 Dask，或者您可能在无法连接的地方启动工作人员。