將元素合並到rdd中的數組

Question

如何將元素與鍵組合的RDD[(Int,Int)]轉換為RDD[Array[(Int,Int)]] 。

可以說

（0,0），（1,0），（1,1），（0,1）

我希望它是一個數組arr1 =（（0,0），（1,0））和arr2（（1,1），（0,1））所以結果rdd將把arr1，arr2作為數組。

Answer 1

您基本上想做的是將RDD[TupleN]按第i個元素RDD[TupleN] 。 您可以使用

rdd.groupBy(_._1)

創建一個

Map[T, RDD[TupleN]]

其中的鍵將是第i個元素（在您的示例中為0或1）。

然后，您可以使用mapValues(_.toArray)將此地圖的值映射到一個數組