Dask jobqueue - 有没有办法同时启动所有工人？

Question

假设我在 SLURM 上有以下部署：

cluster = SLURMCluster(processes=1, cores=25, walltime=1-00:00:00)

cluster.scale(20)
client = Client(cluster)

所以我将有 20 个节点，每个节点有 25 个核心。

有没有办法告诉 slurm 调度程序同时启动所有节点，而不是在它们可用时单独启动每个节点？

一个具体的例子：当节点单独启动时，最早启动的节点可能会等待几个小时，比如 2 小时，直到所有 20 个节点都准备就绪。 这不仅是资源浪费，而且使我的总工作时间少于 24 小时（例如 22 小时）。

这是可以使用dask_mpi轻松完成的事情，其中分配了单个批处理作业。 我想知道是否可以专门用dask_jobqueue来做到这一点。

Answer 1

dask-jobqueue本身并没有提出这样的功能。

它旨在提交独立作业。 因此，要实现这一点，您必须查看作业排队系统的可能性，在您的情况下为 Slurm，并查看在没有 dask-jobqueue 的情况下是否可行。 然后，如果可以的话，您应该尝试向dask-jobqueue添加正确的选项，例如job_extra_directives kwarg。

我不知道 Slurm 中有这样的功能，但是旋钮太多了，很难说。 我知道这对于 PBS 是不可能的。

正如您所说，实现您想要的目标的一个好选择是使用dask-mpi 。

最后一个想法是，您还可以从前两个节点开始计算，而不是等待另一个节点准备就绪。 在大多数情况下这应该是可行的。