如何使用“ sparklyr”包在R中实现lapply函数

Question

我对Spark非常陌生，我试图在网络上查找内容，但没有找到令人满意的结果。

我一直使用命令mclapply运行并行计算，并且喜欢它的结构（即，第一个参数用作滚动索引，第二个参数用作要并行化的函数，然后将其他可选参数传递给该函数）。 现在，我试图通过Spark做同样的事情，即，我想在Spark集群的所有节点之间分配我的计算。 这是我很快学到的，以及我认为应该如何构造代码的结构（我正在使用package sparklyr ）：

1. 我使用命令spark_connect创建与Spark的连接；
2. 我使用copy_to在Spark环境中复制我的data.frame，并通过它的copy_to进行访问；
3. 我想实现mclapply的“对Spark友好”的版本，但是我已经看到该软件包中没有类似的功能（我已经看到SparkR软件包中存在spark.lapply函数，但是不幸的是，它不在CRAN了）。

在下面，我实现了一个简单的测试脚本，该脚本可以使用mclapply函数mclapply 。

#### Standard code that works with mclapply #########
dfTest = data.frame(X = rep(1, 10000), Y = rep(2, 10000))

.testFunc = function(X = 1, df, str) {
    rowSelected = df[X, ]
    y = as.numeric(rowSelected[1] + rowSelected[2])
    return(list(y = y, str = str))
}

lOutput = mclapply(X = 1 : nrow(dfTest), FUN = .testFunc, df = dfTest, 
                   str = "useless string", mc.cores = 2)

######################################################

###### Similar code that should work with Spark ######
library(sparklyr)
sc = spark_connect(master = "local")

dfTest = data.frame(X = rep(1, 10000), Y = rep(2, 10000))

.testFunc = function(X = 1, df, str) {
  rowSelected = df[X, ]
  nSum = as.numeric(rowSelected[1] + rowSelected[2])
  return(list(nSum = nSum, str = str))
}

dfTest_tbl = copy_to(sc, dfTest, "test_tbl", overwrite = TRUE)

# Apply similar function mclapply to dfTest_tbl, that works with 
# Spark
# ???
######################################################

如果有人已经找到了解决方案，那就太好了。 也非常欢迎其他参考/指南/链接。 谢谢！

Answer 1

sparklyr

spark_apply是您正在寻找的现有功能：

spark_apply(sdf, function(data) {
   ...
})

有关详细信息，请参考sparklyr文档中的DistributedR 。

SparkR

与SparkR一起使用gapply / gapplyCollect

gapply(df, groupingCols, function(data) {...} schema)

dapply / dapplyCollect

dapply(df, function(data) {...}, schema)

UDF的。 参考

• dapply文档
• gapply文档

有关详细信息。

请注意，与本机Spark代码相比，所有解决方案都逊色，并且在需要高性能时应避免使用。

Answer 2

sparklyr::spark_apply现在可以支持传递一些外部变量，例如将模型作为上下文。

这是我在sparklyr上运行xgboost模型的示例：

bst <- xgboost::xgb.load("project/models/xgboost.model")
res3 <- spark_apply(x = ft_union_price %>% sdf_repartition(partitions = 1500, partition_by = "uid"),
                   f = inference_fn,
                   packages = F,
                   memory = F,
                   names = c("uid",
                               "action_1",
                               "pred"), 
                   context = {model <- bst})