SLURM：分配所有 GPU 后，无法再提交 CPU 作业

Question

我们刚刚开始使用 slurm 来管理我们的 GPU（目前只有 2 个）。 我们使用 ubuntu 14.04 和 slurm-llnl。 我已经配置了 gres.conf 和srun工作。 问题是，如果我使用--gres=gpu:1运行两个作业，那么两个 GPU 将成功分配并且作业开始运行； 现在我希望能够在没有--gres=gpu:1情况下运行更多的工作（除了 2 个 GPU 工作）（即工作而不是只使用 CPU 和内存），但这是不可能的。

错误消息说它无法分配所需的资源（即使有 24 个 CPU 内核）。

这是我的 gres.conf：

Name=gpu Type=titanx File=/dev/nvidia0
Name=gpu Type=titanx File=/dev/nvidia1
NodeName=ubuntu Name=gpu Type=titanx File=/dev/nvidia[0-1]

我很感激任何帮助。 谢谢你。

Answer 1

确保SelectType在你的配置是CR_CPU或CR_Core并且shared分区的选项未设置为exclusive 。 否则 Slurm 会将完整节点分配给作业。