使用Sparklyr的R回调函数

Question

我希望用mapPartitions和减少火花（功能http://spark.apache.org/docs/latest/programming-guide.html ），使用sparklyr。

在pyspark中很容易，我唯一需要使用的就是一个简单的python代码。 我可以简单地将python函数添加为回调函数。 太简单。

例如，在pyspark中 ，我可以如下使用这两个函数：

mapdata = self.rdd.mapPartitions(mycbfunc1(myparam1))
res = mapdata.reduce(mycbfunc2(myparam2))

但是，似乎在R中是不可能的，例如sparklyr库。 我检查了RSpark，但看来这是R中查询/处理数据的另一种方式，仅此而已。

如果有人让我知道如何在R中使用这两个函数以及R回调函数，我将不胜感激。

Answer 1

在SparkR您可以使用内部函数-因此使用前缀SparkR::: -完成相同的任务。

newRdd = SparkR:::toRDD(self)                  
mapdata = SparkR:::mapPartitions(newRdd, function(x) { mycbfunc1(x, myparam1)})
res = SparkR:::reduce(mapdata, function(x) { mycbfunc2(x, myparam2)})

我相信sparklyr仅与DataFrame / DataSet API DataFrame 。