在并行的Foreach循环中嵌套循环

Question

假设对于此示例，我想以许多不同的方式划分许多文件。

DIVIDERS = c(2,3,5,10)

我有一个文件列表，我打算使用每个分隔符对每个文件进行操作。 我想并行执行此操作。

我有：

foreach(x = DIVIDERS) %dopar% {
     for( y in listOfFiles ) {
           print( paste( x,  y, sep = "" ) )

这只是初步准备，以确保我确实获得每个“ Y”文件的每个“ X”分隔符。 但是，它们都打印为空。 我想这是并行嵌套循环的问题。

有没有办法做到这一点？

Answer 1

您将需要将listOfFiles导出到每个子线程：

foreach(x = DIVIDERS, .export=) %dopar% {
     for( y in listOfFiles ) {
           print( paste( x,  y, sep = "" ) )

Answer 2

这种嵌套很好。 您只是没有正确返回结果。 因为内部for循环返回不可见的NULL，所以foreach循环返回NULL。

尝试以下方法：

library(doParallel)
cl <- makePSOCKcluster(2)
registerDoParallel(cl)

DIVIDERS <- c(2,3,5,10)
listOfFiles <- c('file1', 'file2', 'file3')

newlist <-
  foreach(x=DIVIDERS, .combine='c') %dopar% {
    sublist <- vector('list', length(listOfFiles))
    for(i in seq_along(listOfFiles)) {
      y <- listOfFiles[[i]]
      sublist[[i]] <- paste(x,  y, sep = "")
    }
    sublist
  }

请注意，这使用.combine='c'以便我们获得字符串列表，而不是字符串列表。

尽管在foreach循环中嵌套for循环没有问题， lapply在这种情况下，我将使用lapply ：

newlist <-
  foreach(x=DIVIDERS, .combine='c') %dopar% {
    lapply(listOfFiles, function(y) paste(x, y, sep=""))
  }