[英]Spark: Efficient way to get top K frequent values per key in (key, value) RDD?
我有(键,值)对的RDD。 我需要根据每个键的频率获取前k个值。
我知道最好的方法是使用CombineByKey。
目前,这是我的CombineByKey组合器的外观
object TopKCount {
//TopK Count combiners
val k: Int = 10
def createCombiner(value: String): Map[String, Long] = {
Map(value -> 1L)
}
def mergeValue(combined: Map[String, Long], value: String): Map[String, Long] = {
combined ++ Map(value -> (combined.getOrElse(value, 0L) + 1L))
}
def mergeCombiners(combined1: Map[String, Long], combined2: Map[String, Long]): Map[String, Long] = {
val top10Keys1 = combined1.toList.sortBy(_._2).takeRight(k).toMap.keys
val top10Keys2 = combined2.toList.sortBy(_._2).takeRight(k).toMap.keys
(top10Keys1 ++ top10Keys2).map(key => (key, combined1.getOrElse(key, 0L) + combined2.getOrElse(key, 0L)))
.toList.sortBy(_._2).takeRight(k).toMap
}
}
我使用它如下:
// input is RDD[(String, String)]
val topKValueCount: RDD[(String, Map[String, Long])] = input.combineByKey(
TopKCount.createCombiner,
TopKCount.mergeValue,
TopKCount.mergeCombiners
)
当前代码的一种优化方法是在mergeCombiners期间使用min-queue 。
我更关心网络I / O。 一旦合并到分区中,是否有可能仅将topK条目从该分区发送到驱动程序,而不是发送整个Map(在当前情况下这样做)。
高度赞赏任何反馈。
为什么不使用Spark的RDD GroupByKey功能或GroupBy? 如果您正在使用大型RDD,则使用Spark功能几乎总是更快,对吗?
//assuming input is RDD[(String, String)]
val groupinput = input.groupBy(_._2).map(x=>(x._1,x._2.map(y=>y._2).groupBy(identity).map(z=>(z._1,z._2.size)).toList.sortBy(-_._2)))
这条紧凑的1行应该可以完成您想要的。 该行首先通过您的键对RDD进行分组,然后输出RDD(keys,Map(Key,values))。 现在,第二个GroupBy对Mapping的值进行分组,并在新Map中输出这些值的出现频率。
最后,我将地图转换为List(使用数组或您认为合适的任何东西),然后按count(或频率)进行sortB。 因此,您的RDD为
RDD[(key, List[(value, frequency)])]
现在您可以在列表上使用take(k)来获取k个最频繁的值。
我已经能够令人满意地解决以下问题。 诀窍是将问题分为两部分,在第一部分中,将键及其值组合在一起,以获取出现相同k,v的次数,然后将其与新的topk组合器一起使用以获取出现的topk值。
case class TopKCount(topK: Int = 10) {
//sort and trim a traversable (String, Long) tuple by _2 value of the tuple
def topNs(xs: TraversableOnce[(String, Long)], n: Int) = {
var ss = List[(String, Long)]()
var min = Long.MaxValue
var len = 0
xs foreach { e =>
if (len < n || e._2 > min) {
ss = (e :: ss).sortBy((f) => f._2)
min = ss.head._2
len += 1
}
if (len > n) {
ss = ss.tail
min = ss.head._2
len -= 1
}
}
ss
}
//seed a list for each key to hold your top N's with your first record
def createCombiner(value: (String, Long)): Seq[(String, Long)] = Seq(value)
//add the incoming value to the accumulating top N list for the key
def mergeValue(combined: Seq[(String, Long)], value: (String, Long)): Seq[(String, Long)] =
topNs(combined ++ Seq((value._1, value._2)), topK)
//merge top N lists returned from each partition into a new combined top N list
def mergeCombiners(combined1: Seq[(String, Long)], combined2: Seq[(String, Long)]): Seq[(String, Long)] =
topNs(combined1 ++ combined2, topK)
}
object FieldValueCount {
//Field Value Count combiners
def createCombiner(value: String): (Double, Long) =
if (Try(value.toDouble).isSuccess) (value.toDouble, 1L)
else (0.0, 1L)
def mergeValue(combined: (Double, Long), value: String): (Double, Long) =
if (Try(value.toDouble).isSuccess) (combined._1 + value.toDouble, combined._2 + 1L)
else (combined._1, combined._2 + 1L)
def mergeCombiners(combined1: (Double, Long), combined2: (Double, Long)): (Double, Long) =
(combined1._1 + combined2._1, combined1._2 + combined2._2)
}
// Example usage. Here input is the RDD[(String, String)]
val topKCount = TopKCount(10)
input.cache()
// combine the k,v from the original input to convert it into (k, (v, count))
val combined: RDD[(String, (String, Long))] = input.map(v => (v._1 + "|" + v._2, 1L))
.reduceByKey(_ + _).map(k => (k._1.split("\\|", -1).head, (k._1.split("\\|", -1).drop(1).head, k._2)))
val topKValueCount: RDD[(String, Seq[(String, Long)])] = combined.combineByKey(
topKCount.createCombiner,
topKCount.mergeValue,
topKCount.mergeCombiners
)
TopKCount
已转换为案例类,以便我们可以根据需要更改k
的值。 如果不需要k
变量,则可以将其作为对象。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.