如何压缩两个RDD（Scala）

Question

我有两个具有以下形式的RDD：

RDD A ：（列：icchID，X_Coord）

[ICCH 1,10.0]
[ICCH 2,10.0]
[ICCH 4,100.0]
[ICCH 4,100.0]
[ICCH 2,13.0]

RDD B ：（列：Y_Coord，类）

[10.0,A]
[64.0,B]
[39.0,A]
[9.0,C]
[80.0,D]

我想将这两个RDD组合在一起，以便拥有一个具有以下形式的RDD：

[ICCH 1,10.0,10.0,A]
[ICCH 2,10.0,64.0,B]
[ICCH 4,100.0,39.0,A]
[ICCH 4,100.0,9.0,C]
[ICCH 2,13.0,80.0,D]

请注意，两个RDD的行和列都相同。 是否可以使用Scala做到这一点？

PS我是Scala的菜鸟。 我正在使用Databricks。

Answer 1

您可以考虑使用RDD zip方法以及通过map进行的转换：

val rddA = sc.parallelize(Seq(
  ("ICCH 1", 10.0), ("ICCH 2", 10.0), ("ICCH 4", 100.0), ("ICCH 5", 100.0), ("ICCH 2", 13.0)
))

val rddB = sc.parallelize(Seq(
  (10.0, "A"), (64.0, "B"), (39.0, "A"), (9.0, "C"), (80.0, "D")
))

val zippedRDD = (rddA zip rddB).map{ case ((id, x), (y, c)) => (id, x, y, c) }
// zippedRDD: org.apache.spark.rdd.RDD[(String, Double, Double, String)] = ...

zippedRDD.collect
// Array[(String, Double, Double, String)] = Array(
//   (ICCH 1,10.0,10.0,A), (ICCH 2,10.0,64.0,B), (ICCH 4,100.0,39.0,A), (ICCH 5,100.0,9.0,C), (ICCH 2,13.0,80.0,D)
// )

请注意，尽管维护两个RDD之间的顺序是一件棘手的事情。 这是有关订购问题的相关SO link 。

以下是Spark API doc re：RDD zip方法所说的内容：

def zip[U](other: RDD[U])(implicit arg0: ClassTag[U]): RDD[(T, U)]

将另一个RDD压缩，并返回键值对以及每个RDD中的第一个元素，每个RDD中的第二个元素等。假定两个RDD具有相同数量的分区和相同数量的元素 （例如，一个是通过另一张地图制作的）。