集群作业的 RAM 使用优化会影响 HPC 环境中的数据传输。 有什么方法可以在 cp 或 rsync 命令中关闭对 RAM 的缓存？

Question

我的问题与在大型 HPC 集群上执行计算机模拟有关。 我有一个进行 MC 模拟的程序。 通过模拟的某些部分后，结果将保存到文件中，并且模拟继续写入与开始时相同的内存部分。 因此，该程序不需要那么多 RAM 来运行（而且我们正在谈论非常低的内存使用量，例如 ~25MB）。 然而，随着时间的推移产生的总数据比这大 10 或 100 倍。 作业以正常方式处理：作业数据被复制到临时分区，程序在节点上运行，结果从零开始返回到 jobdir。

现在，如果不是因为在向 SLURM 提交作业时，我必须声明为该作业分配的 RAM 数量，那么一切都会变得很花哨。 如果我在实际程序使用情况下声明一些内容，比如 50MB，那么我在取回结果时会遇到问题。 经过一周的模拟，数据从头开始复制到作业目录，并且复制操作缓存到 RAM，违反了作业 RAM 设置。 最终，这项工作被 SLURM 杀死。 我必须手动从头开始查找这些数据并将它们复制回来。 显然，这对于几千个工作岗位是不可行的。

用于复制的命令是：

cp -Hpv ${CONTENTS} ${TMPDIR}

如果复制的内容大于指定的 MB，则作业将被终止并显示一条消息：

/var/lib/slurm-llnl/slurmd/job24667725/slurm_script: line 78: 46020 Killed cp -Hpv ${CONTENTS} ${TMPDIR}
slurmstepd-e1370: error: Detected 1 oom-kill event(s) in StepId=(jobid).batch. Some of your processes may have been killed by the cgroup out-of-memory handler.

在这方面我已经联系了集群管理员，他们只是回复说要为这项工作保留更多的内存。 但是，这会导致在模拟过程中一个星期内大量的 ram 被锁定（基本上浪费），并且仅在结果被复制回来的那一刻使用。 请记住，我一次可以（并且经常这样做）最多提交 5000 个作业，我正在寻找某种对cp或rsync命令的破解，以强制它们不缓存到 RAM 或根本不缓存，而复制。

很高兴有任何评论。 此致。