如何在RDD中合並數組

Question

我是Spark的新手。 我有以下RDD [Array [（String，String，String）]]

val r1 = sc.parallelize(Array(Array(("123","456","789"),("AAA","BBB","CCC")),Array(("DDD","EEE","FFF"),("E1","E2","E3"))))

我想在其中合並Arrays

Array((123,456,789), (AAA,BBB,CCC), (DDD,EEE,FFF), (E1,E2,E3))

我可以用r1.reduce(_ ++ _)來做到這一點。 但是，我想使用轉換函數，如map，而不是Actions。 有可能嗎？ 我正在使用Spark 1.3.1。

謝謝

Answer 1

你可以做：

val res: RDD[(String, String, String)] = r1.flatMap(identity)