指定值元素上的ReduceByKey

Question

Spark的reduceByKey ，并试图了解reduceByKey ，它被指定为接受RDD [（K，V）]。 我不清楚的是当值是列表/元组时如何应用此功能...

经过各种映射和过滤操作后，我的RDD最终以(Cluster:String, (Unique_ID:String, Count:Int))的形式结束，其中我可以拥有许多属于同一群集的元素，例如：

 Array((a,(lkn,12)), (a,(hdha,2)), (a,(naa,35)), (b, (cdas,20)) ...)

现在，我想使用reduceByKey为每个群集查找计数最高的元素（每个群集一个条目）。 在上面的示例中(a,(naa,35))对于群集a (a,(naa,35))这将是(a,(naa,35)) 。

如果我有一个具有reduceByKey和math.max的简单（键，值）对，我可以弄清楚如何找到每个群集的最大值。 但是我不明白当值表示值的列表/元组时如何扩展它。

我在这里使用错误的功能吗？

Answer 1

您可以：

rdd.reduceByKey { case (x, y) => if (x._2 > y._2) x else y }

这个：

• 从逻辑上将数据划分为由键（ _._1 ）定义的组

  • “ a”的关键字： (a, [(lkn,12), (hdha,2), (naa,35), ...])
  • “ b”的键： (b, [(cdas,20), ...])

• 通过比较值的第二个元素（ (x._2 > y._2) ）减少每个组中的值，并返回具有更高数字的值。