為什么在 slurm 集群上並行化 R 代碼時只有一個節點工作

Question

我的測試代碼是

rm(list = ls())

library(parallel)
#setwd("/home/121090562/TestWorkspace/")

fun <- function(x){
return (x+1);
}

cl <- makeCluster(80)
ptm <- proc.time()
system.time({
res <- parLapply(cl, 1:50000000,  fun)
});
print(proc.time() - ptm)
stopCluster(cl)

我想使用兩個節點，每個節點有 40 個 CPU，但只有一個節點工作而不是 2 個，這意味着只有 40 個 CPU 工作。

工作文件是

#!/bin/bash

#SBATCH --job-name Cores.R
#SBATCH --partition warshel-cpu
#SBATCH --nodes=2
#SBATCH --time 1-00:00:00
#SBATCH --ntasks 80
#SBATCH --output /...
#SBATCH --error /...
cd /...
R --vanilla --slave < Cores.R

Answer 1

如果不使用Rmpi package（或SlurmCluster （？））之類的東西，R 就無法進行節點間通信。 您當前的設置僅限於單個節點。