使用foreach代替for循环

Question

我正在尝试学习foreach以使我的任务并行化

我的for循环如下所示：

     # create an empty matrix to store results
     mat <- matrix(-9999, nrow = unique(dat$mun), ncol = 2)

     for(mun in unique(dat$mun)) {

           dat <- read.csv(paste0("data",mun,".csv")
           tot.dat <- sum(dat$x)
           mat[mat[,1]== mun,2] <- tot.dat
     }

unique(dat$mun)的长度为5563。

我想使用foreach来实现我的任务。

      library(foreach)
      library(doParallel)

      # number of iterations
      iters <- 5563

      foreach(icount(iters)) %dopar% {
          mun <- unique(dat$mun)[mun] # this is where I cannot figure out how to assing mun so that it read the data for mun

          dat <- read.csv(paste0("data",mun,".csv")
          tot.dat <- sum(dat$x)
          mat[mat[,1]== mun,2] <- tot.dat
        }

Answer 1

这可能是一种解决方案。 请注意，我在这里使用Windows，并且指定了registerDoParallel()使其正常工作。

library(foreach)
library(doParallel)

# number of iterations
iters <- 5563

registerDoParallel()
mun <- unique(dat$mun)

tableList <- foreach(i=1:iters) %dopar% {
  dat <- read.csv(paste0("data",mun[i],".csv")
  tot.dat <- sum(dat$x)
}
unlist(tableList)

本质上， {...}任何结果都将存储在列表中。 在这种情况下，结果（ tot.dat是一个数字）将在tableList进行编译，并且通过执行unlist()我们可以将其转换为向量以进一步使用。

{...}的结果可以是任何东西，单个数字，向量，数据帧或其他任何东西。 解决您的问题的另一种方法是将所有现有数据组合在一起，并用适当的源文件对其进行标记，这样中间组件将看起来像

library(plyr)
tableAll <- foreach(i=1:iters) %dopar% {
  dat <- read.csv(paste0("data",mun[i],".csv")
  dat$source = mun[i]
}
rbind.fill(tableAll)

然后，我们可以将其用于进一步分析。