Spark-减少Scala中的键/值对列表

Question

我有一个火花流上下文中的键值对列表。 如果有键值对列表，如何使用reduce by key进行聚合？ 例：

[("key1",2),("key2",3)]
[("key1",4),("key3",2)]
[("key2",4),("key3",2)]

预期的总产出：

("key1", 6)
("key2", 7)
("key3", 4)

Answer 1

首先使用flatMap进行reduceByKey平，然后使用reduceByKey ：

val rdd = sc.parallelize(Seq(Seq(("key1",2),("key2",3)), Seq(("key1",4),("key3",2)), Seq(("key2",4),("key3",2))))

rdd.flatMap(identity).reduceByKey(_+_).collect
// res2: Array[(String, Int)] = Array((key1,6), (key2,7), (key3,4))