Spark Aggregatebykey分區程序順序

Question

如果我將哈希分區程序應用於Spark的aggregatebykey函數，即myRDD.aggregateByKey(0, new HashPartitioner(20))(combOp, mergeOp)

在使用combOp和mergeOp聚合鍵/值對之前，myRDD是否會先進行重新分區？ 還是myRDD首先通過combOp和mergeOp，然后使用HashPartitioner對生成的RDD進行重新分區？

Answer 1

aggregateByKey在最終洗牌之前應用地圖端聚合。 由於每個分區都是按順序處理的，因此在此階段應用的唯一操作是初始化（創建zeroValue ）和combOp 。 mergeOp的目標是合並聚合緩沖區，因此在混洗之前不使用它。

如果輸入RDD是ShuffledRDD與同分區的請求aggregateByKey則數據根本沒有被洗牌和數據使用本地聚集mapPartitions 。