Spark Aggregatebykey分区程序顺序

Question

如果我将哈希分区程序应用于Spark的aggregatebykey函数，即myRDD.aggregateByKey(0, new HashPartitioner(20))(combOp, mergeOp)

在使用combOp和mergeOp聚合键/值对之前，myRDD是否会先进行重新分区？ 还是myRDD首先通过combOp和mergeOp，然后使用HashPartitioner对生成的RDD进行重新分区？

Answer 1

aggregateByKey在最终洗牌之前应用地图端聚合。 由于每个分区都是按顺序处理的，因此在此阶段应用的唯一操作是初始化（创建zeroValue ）和combOp 。 mergeOp的目标是合并聚合缓冲区，因此在混洗之前不使用它。

如果输入RDD是ShuffledRDD与同分区的请求aggregateByKey则数据根本没有被洗牌和数据使用本地聚集mapPartitions 。