嵌套的foreach循环R

Question

我有一个与此非常相似的代码：

for(i in 1:5){
    mat<-matrix(runif(i^2,0,1), nrow=i, ncol=i)
    mat.max<-round(max(mat), 2)
    mat.min<-round(min(mat), 2)
    mat.tresh.seq<-seq(mat.min, mat.max, 0.01)
    dir.loc<-paste('~/', i, '/', sep='')
    dir.create(dir.loc, recursive=TRUE)
    mat.name<-paste(dir.loc, 'og-mat.csv', sep='')
    write.csv(mat, mat.name)
    dir.loc.2<-paste(dir.loc, 'treshhold/', sep='')
    dir.create(dir.loc.2, recursive=TRUE)
    for(j in mat.tresh.seq){
        mat.tresh <- mat>=j
        mat.tresh[mat.tresh == TRUE] <- 1
        mat.tresh[mat.tresh == FALSE] <- 0
        mat.tresh.name<-paste(dir.loc.2, 'thresh mat ', j, '.csv', sep='')
        write.csv(mat.tresh, mat.tresh.name)
    }
}

每个随机矩阵可以彼此独立地生成，并且每个阈值矩阵可以彼此独立地生成，但是阈值矩阵取决于随机矩阵。 我将如何为此类代码进行嵌套并行化？ 我必须只选择一个循环并行执行吗？

谢谢。

Answer 1

我倾向于不混合处理数据和保存数据。 如果将那些矩阵与两种类型的矩阵分开，则可以使用各种选项来运行并行函数。 因此，我对嵌套循环的问题的答案是使嵌套嵌套，在嵌套循环中，内部取决于外部，而外部则独立。

# starting matrices
og <- lapply(1:100,function(i){
  matrix(runif(i^2,0,1), nrow=i, ncol=i)
})

# threshhold matrices
y <- lapply(og,function(x){
  mat.tresh.seq <- seq(round(min(x), 2), round(max(x), 2), 0.01)
  z <- lapply(mat.tresh.seq,function(y,mat){
    mat.tresh <- mat>=y
    mat.tresh * 1
  },mat = x)
  names(z) <- mat.tresh.seq
  z
})

# directory/file structure
ynames <- lapply(y,names)

# create all folders
lapply(paste0('~/',1:length(ynames),'/threshhold'),dir.create,recursive = T)

# write og files
mapply(FUN = function(mainfolder,ogfiles){
  filename <- paste('~/',mainfolder, '/og-mat.csv', sep='')
  write.csv(ogfiles,filename)
},mainfolder = 1:length(og),ogfiles = og)

# write threshhold files
mapply(mainfolder = 1:length(ynames),filenames = ynames,FUN = function(mainfolder,filenames,ydata){
  lapply(filenames,function(x){
    filename <- paste('~/',mainfolder, '/threshhold/thresh mat ', x, '.csv', sep='')
    write.csv(ydata[[mainfolder]][[x]],filename)
  })
},MoreArgs = list(ydata = y))

每个* apply函数可以改为并行版本（如果您在Windows上，则为mapply的clusterMAP）。 除非存在内存问题（计算机上约有100个以上的起始矩阵），否则在计算下一个矩阵之前，无需分别编写每个矩阵。 在这种情况下，先将起始矩阵写入磁盘，然后再读取每个矩阵并进行处理可能是一个好主意。

除了在最后一个mapply中写入所有单独的阈值文件外，这几乎是最大100x100的瞬间。 并行化将最有帮助。