如何总结两个Apache Spark JavaPairRDD？

Question

我有以下JavaPairRDD，它们代表每个客户的订单数量：

JavaPairRDD<String, Integer> customersToOrderCountRDD1 = ...

JavaPairRDD<String, Integer> customersToOrderCountRDD2 = ...

从Cassandra中的表中检索第一个，从外部Web API检索第二个。

计算这两个RDD的组合值的最有效方法是什么，换句话说，获取每个客户的总订单数：例如，如果我在RDD中有以下数据集：

customersToOrderCountRDD1: (email1@email.com, 3) (email2@email.com, 4)
customersToOrderCountRDD2: (email1@email.com, 1) (email2@email.com, 2)

要得到：

customersToTotalOrderCount: (email1@email.com, 4) (email2@email.com, 6)

Answer 1

请参阅“使用键值对”部分和union / reduceByKey API：
http://spark.apache.org/docs/latest/programming-guide.html#working-with-key-value-pairs

customersToOrderCountRDD1.union(customersToOrderCountRDD2).reduceByKey((a, b) -> a + b)