我如何并行（最好是通过sparkR）实现“ by”功能

Question

我需要在非常大的数据集上应用“ by”功能。 数据如下：

id    value1   value2
1      245      446
1      592      567
1      356      642
...    ...
2      231      421
2      423      425
2      421      542

我需要为每个id计算value1和value2之间的值，以便：

by(dataset, id, function(input) myfun(input$value1, input$value2) 

但是，数据非常大。 这种计算需要很多时间。

我想知道，是否仍有加速此功能的方法。

我想使用并行方法，最好使用sparkR。 但是我不知道该怎么做。 SparkR可以支持吗？

Answer 1

长话短说有没有支持的翻译by / tapply一起SparkR任意函数。 目前（Spark 1.5 / 1.6 Preview）SparkR仅公开Spark SQL API的有限子集，该子集或多或少是分布式SQL查询引擎。

我想使用的函数可以在不带R的情况下使用带有GROUP BY和/或window函数的标准SQL逻辑来表示，那么您就很好了。

有些人倾向于使用内部RDD API提供类似操作aggregateByKey / combineByKey ， reduceByKey或groupByKey 。 我个人强烈建议不要这样做。 与Scala或Python对应版本相比，API的这一部分还不够成熟，缺少一些基本功能，并且运行速度明显慢。

虽然软件建议对SO来说是题外话，但您可能会发现多个R库很有用，包括parallel ， snow ， doMC ， Rmpi和品牌新鲜的multidplyr 。 包括出色的存储选项（如data.table或ff以及R独立的解决方案（如GNU Parallel），您可以选择很多。 由于您要解决的问题令人尴尬地并行使用这些工具的某种组合，因此，与使用SparkR内部构件进行修补相比，其投资回报率要高得多。