通过 clusterExport 或作为 function arguments 传递对象

Question

将对象传递给parallel::parLapply和parallel::parLapplyLB作为 function arguments 或使用parallel::clusterExport导出它们更有效吗？ IE

parallel::parLapply(cl, 1:1000, function(y, x1, x2, x3, x4, x5) {
  ...
}, x1, x2, x3, x4, x5)

或者

parallel::clusterExport(cl, c("x1", "x2", "x3", "x4", "x5"))
parallel::parLapply(cl, 1:1000, function(y) {
  ...
})

非并行函数，例如默认情况下不会复制传递给它们的 arguments。 它们仅在修改对象时创建副本。 我想知道，上述两个并行选项在避免不必要的 object 副本方面是否有不同的优势。

Answer 1

对于您的两个版本的大型数据集，我遇到了 memory 管理困难。 我可以建议：

par_func <- function(my_list, x1, x2, x3, x4, x5, ncores){
  # A function to use in the parallel loop
  loop_fun <- function(x){
    # x is i. element in the list
    tryCatch({
      foo(x, x1, x2, x3, x4, x5) # the actual function which would do the work
    }, error = function(err){
      #error_case <- foo2(x, x1, x2, x3, x4, x5) # in case something goes wrong foo2 will deliver something
      error_case <- NULL  # or it can also just return NA or NULL instead of a function's output to prevent error
      return(error_case)
      })
  }
  cl <- parallel::makeCluster(ncores)
  x1 <- x1
  x2 <- x2
  x3 <- x3 
  x4 <- x4 
  x5 <- x5
  out <- parallel::parSapplyLB(cl = cl, 
                               X = my_list,
                               FUN = function(x) loop_fun(x)
                               )
  return(out)
}