Dask 分布式：如何通过计算识别工人是否空闲？

Question

我想监视 dask 工作人员并在他们闲置时重新启动他们。 有没有办法检测空闲工人，例如通过计算最后一分钟工人的平均 CPU 利用率？

Answer 1

您可能想查看Scheduler.workers的调度程序状态

尝试

workers = client.run(lambda dask_scheduler: dask_scheduler.workers)

然后查看每个WorkerState对象的.metrics属性

{address: ws.metrics["cpu"] for address, ws in workers.items()}

（这里我把CPU拔了，但是里面信息量很大）

您可能还想查看自适应调度