Spark / Scala - 使用keyBy和List [（Int，Double）]的RDD]

Question

我正面临一个问题，我不确定如何以优雅的方式接近。 我需要加入2个RDD：

First - RDD[(Int, Double)]
Second - RDD[MyObject, List[(Int, Double)])

我需要使用Int作为键来加入这两个RDD。 使用第一个RDD很清楚 - 我可以使用Int定义keyBy但是如何在第二个RDD中定义keyBy ？ 我的结果RDD必须具有以下结构RDD[MyObject, Int, Double] ，其中Double是在它们被Int key连接之后乘以2 Double的结果。 我知道我可以通过2个嵌套循环寻找更优雅的解决方案来解决这个问题。

Answer 1

使用flatMap ：

val first: RDD[(Int, Double)] = // ...
val second: RDD[T, List[(Int, Double)]) = // ...

val flattened: RDD[(Int, (T, Double))] = second.flatMap { case (t, list) => 
  list.map { case (i, d) => (i, (t, d)) } 
}

val joined: RDD[(Int, (Double, (T, Double)))] = first.join(flattened)
val multiplied: RDD[(T, Int, Double)] = joined.map { case (i, (d1, (t, d2))) => 
  (t, i, d1 * d2)
}