是否可以在 slurm 作业执行后执行后脚本？

Question

是否可以告诉slurm它必须在提交的任务完成后执行特定的脚本，例如post-script.py脚本？

不提交新任务，只在登录节点上运行它

就像是...

#SBATCH --at-end-run="bash post-script.sh"

还是每 N 分钟检查一次任务是否完成的唯一选择？

Answer 1

简短的回答是 Slurm 中没有这样的选项。

如果post-script.sh可以在计算节点上运行，最好的选择是

• 如果很短：将其添加到作业提交脚本的末尾
• 如果它很长； 在自己的工作中提交它并使用--dependency选项在第一个工作结束时开始。

如果您有 root 权限，则可以在作业完成后使用strigger运行post-script.sh 。 这将在slurmctld服务器上运行。

如果post-script.sh必须在登录节点上运行，例如，对于 external.network 访问，如果您能够/允许 SSH 从计算节点到登录节点，那么首先提到的选项将起作用。 这有时会被阻止/禁止，但如果没有，那么您可以在提交脚本的末尾或在其自身的作业中运行ssh login.node bash post-script.sh 。

如果那不可能，那么确实需要“忙轮询”。 您可以在 Bash 循环中执行此操作，确保不会给 Slurm 服务器带来太大的负担（每 5 分钟一次是可以的，每 5 秒一次是无用的并且对系统有害）。

您还可以使用专用的工作流管理工具，例如Maestro ，它允许您定义作业和相关任务以在登录节点上运行。

在此处查看有关 HPC 系统工作流的一些一般信息。