reduceByKey可以用于多个值吗？

Question

我刚刚开始学习spark和scala，并测试了RDD的一些转换和操作。

我发现reduceByKey的用法如下：

rdd.reduceByKey((x, y) => x + y)

其中，它采用两个相同值的元组，并使用加法运算将它们组合在一起。

现在我的问题是我们是否不能一次累加两个以上的值，或者一次只能将所有具有相同键的值相加？ 像这样：

rdd.reduceByKey((p, q, r, s) => p+q+r+s)

为什么只添加两个值？ 将两个以上的值相加还可以节省大量计算量吗？

Answer 1

从技术上讲，spark可以提供这样的API，但实际上不会有用。

一次减少更多的值不一定更快。 如果Spark RDD是基于列的，则不是这样。 Spark是基于行的。