![](/img/trans.png)
[英]Is it possible, in R parallel::mcparallel, to limit the number of cores used at any one time?
[英]R and GNU Parallel - How to limit number of cores used
(GNU Parallel 新手)
我的目标是在多个内核上运行具有不同参数的相同 Rscript。 我的第一个问题是让它在我的笔记本电脑上运行(2 个真实内核,4 个虚拟内核),然后我将把它移植到一个有 64 个内核的机器上。
目前:
我有一个 Rscript,“Test.R”,它接受参数,做一件事(比如添加一些数字然后将其写入文件),然后停止。
我有一个包含以下内容的“commands.txt”文件:
/Users/name/anaconda3/lib/R/bin/Rscript Test.R 5 100 100
/Users/name/anaconda3/lib/R/bin/Rscript Test.R 5 100 1000
/Users/name/anaconda3/lib/R/bin/Rscript Test.R 5 100 1000
/Users/name/anaconda3/lib/R/bin/Rscript Test.R 5 100 1000
/Users/name/anaconda3/lib/R/bin/Rscript Test.R 50 100 1000
/Users/name/anaconda3/lib/R/bin/Rscript Test.R 50 200 1000
所以这告诉 GNU parallel 使用 R 运行 Test.R(我已经使用 anaconda 安装了它)
在终端中(导航到 Test.R 和 commands.txt 所在的桌面后)我使用命令:
parallel --jobs 2 < commands.txt
我想要这样做,是使用 2 个内核,并从 commands.txt 运行命令,直到所有任务完成。 (我尝试了此命令的变体,例如将 2 更改为 1,在这种情况下,2 个内核以 100% 运行,另外 2 个运行在 20-30% 左右)。
当我运行它时,所有 4 个内核都达到 100%(从 htop 中看到),并且前 2 个作业完成,并且没有更多的作业完成,尽管所有 4 个内核仍然处于 100%。
当我在 64 核计算上运行相同的命令时,所有 64 核都变为 100%,我必须取消作业。
任何关于资源的建议,或者我做错了什么,将不胜感激。
有点长的问题,如果我能澄清任何事情,请告诉我。
在运行上述命令期间,按要求从 htop 输出(按 CPU% 排序:
1 [||||||||||||||||||||||||100.0%] Tasks: 490, 490 thr; 4 running
2 [|||||||||||||||||||||||||99.3%] Load average: 4.24 3.46 4.12
3 [||||||||||||||||||||||||100.0%] Uptime: 1 day, 18:56:02
4 [||||||||||||||||||||||||100.0%]
Mem[|||||||||||||||||||5.83G/8.00G]
Swp[|||||||||| 678M/2.00G]
PID USER PRI NI VIRT RES S CPU% MEM% TIME+ Command
9719 user 16 0 4763M 291M ? 182. 3.6 0:19.74 /Users/user/anaconda3
9711 user 16 0 4763M 294M ? 182. 3.6 0:20.69 /Users/user/anaconda3
7575 user 24 0 4446M 94240 ? 11.7 1.1 1:52.76 /Applications/Utilities
8833 user 17 0 86.0G 259M ? 0.8 3.2 1:33.25 /System/Library/StagedF
9709 user 24 0 4195M 2664 R 0.2 0.0 0:00.12 htop
9676 user 24 0 4197M 14496 ? 0.0 0.2 0:00.13 perl /usr/local/bin/par
根据htop
的输出,脚本/Users/name/anaconda3/lib/R/bin/Rscript
使用了多个 CPU 线程 (182%)。 您有 4 个 CPU 线程,并且由于您运行了 2 个Rscript
我们无法判断Rscript
如果它自己运行是否会Rscript
所有 4 个 CPU 线程。 也许它会吃掉所有可用的 CPU 线程(您在 64 核机器上的测试表明了这一点)。
如果您使用的是 GNU/Linux,您可以限制程序可以与taskset
使用的 CPU 线程:
taskset 9 parallel --jobs 2 < commands.txt
这应该会强制 GNU Parallel(及其所有子进程)仅使用 CPU 线程 1 和 4(二进制中的 9:1001)。 因此运行应该限制两个作业仅在两个线程中运行。
通过使用 9(1001 二进制)或 6(0110 二进制),我们可以合理地确定两个 CPU 线程位于两个不同的内核上。 3(11 二进制)可能是指 CPU 内核上的两个线程,因此可能会更慢。 5(101 二进制)也是如此。
通常,您希望使用尽可能多的 CPU 线程,因为这通常会使计算速度更快。 从您的问题中不清楚您为什么要避免这种情况。
如果您与他人共享服务器,更好的解决方案是使用nice
。 这样您就可以使用其他人没有使用的所有 CPU 能力。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.