如何使用invoke在Sparklyr中调用Spark函数

Question

我正在尝试在RStudio的Sparklyr中使用invoke来对HDFS中的文本文件进行简单的字数统计，但还没有弄清楚语法。 我可以通过使用（类似于上扩展的SparklyR文档计数的例子-让整个文件回为一个列表http://spark.rstudio.com/extensions.html ）：

getFileCollect <- function(sc, path) {
    spark_context(sc) %>% 
      invoke("textFile", path, 1L) %>%
        invoke("collect")
}

fc <- getFileCollect(sc, "hdfs:///tmp/largeTomes/bigEx.txt")

我想要做的是在该文本文件上进行平面映射，以执行经典的scala代码：

.flatMap(line => line.split(" "))
            .map(word => (word, 1))
            .reduceByKey(_ + _)

但是，甚至还没有弄清invoke的语法。 flatMap是textFile的一种方法。 肯定有人曾经这样做过，而我只是想的不对。

谢谢！

Answer 1

也许您已经弄清楚了（已经几个月了），但是要在dplyr中使用collect，只需要这样写：

myFileCollected <- myFileDF %>% collect

然后，我将尝试使用dplyr函数，即mutate（这是sparklyr的优势之一）。