reduceByKey 函數可以更改密鑰嗎？

Question

我是 spark 新手，可能我對按鍵減少沒有很好的理解。 我想保留離點最近的集群 ID。

distancePointMicrocluster: RDD[Point,(ClusterId: Int, Distance: Double)]

    val nearestClusterToPoint = distancesPointMicrocluster.reduceByKey((x,y) => if (x._2 < y._2) x else y )

函數的輸入和輸出

Answer 1

問題不在於函數reduceByKey而是我沒有將點保存在內存中的事實。 結果，我在每個動作中重新創建了點，因此點pointIds不相同。