将rdd转换为pairRDD

Question

这是一个新手问题。

是否有可能将具有动态维度的RDD (key,1,2,3,4,5,5,666,789,...)转换为对象RDD (key,1,2,3,4,5,5,666,789,...)如(key, (1,2,3,4,5,5,666,789,...)) ？

我觉得这应该是超级容易但我不知道怎么做。

这样做的目的是我想总结所有的价值，但不是关键。

任何帮助表示赞赏。

我正在使用Spark 1.2.0

编辑通过答案得到了启发，我更深入地解释了我的用例。 我有N（编译时未知）不同的pairRDD（键，值），必须连接并且必须将其值相加。 有没有比我想的更好的方式？

Answer 1

首先，如果你只是想要求所有整数，但首先最简单的方法是：

val rdd = sc.parallelize(List(1, 2, 3))
rdd.cache()
val first = rdd.sum()
val result = rdd.count - first

另一方面，如果您想要访问元素索引，可以使用rdd zipWithIndex方法，如下所示：

  val indexed = rdd.zipWithIndex()
  indexed.cache()
  val result = (indexed.first()._2, indexed.filter(_._1 != 1))

但在你的情况下，这感觉有点矫枉过正。

我还要补充一点，这看起来像是有问题的desine将key作为你的rdd的第一个元素。 为什么不在驱动程序中使用对（key，rdd）。 很难推断rdd中元素的顺序，我不能不考虑女巫键中的自然情况被计算为rdd的第一个元素（ofc我不知道你的用例，所以我只能猜测）。

编辑

如果你有一个关键值对的rdd并且想要按键求和它们那么只做：

val result = rdd.reduceByKey(_ + _)

如果你在计算之前有很多关键值对的rdds你可以总结它们

  val list = List(pairRDD0, pairRDD1, pairRDD2)
  //another pairRDD arives in runtime
  val newList = anotherPairRDD0::list
  val pairRDD = newList.reduce(_ union _)
  val resultSoFar = pairRDD.reduceByKey(_ + _)
  //another pairRDD arives in runtime
  val result = resultSoFar.union(anotherPairRDD1).reduceByKey(_ + _)

编辑

我编辑了例子。 如您所见，您可以在运行时出现每个rdd时添加其他rdd。 这是因为reduceByKey返回相同类型的rdd，因此您可以迭代此操作（Ofc，您将不得不考虑性能）。