使用減少操作時如何節省時間？

Question

我使用reduce操作來處理群集上的數據，但是我發現它花費了太多時間。 要減少的RDD類型為：

RDD[(Array[Array[Double]], Array[Array[Double]], Array[Double], Array[Double])] 

問題1：如果rdd的類型很簡單，例如RDD [Array [Double]]，也許花費的時間更少？
問題2：使用rdd.reduce時還有其他節省時間的方法嗎？

Answer 1

ReduceByKey方法采用兩個參數-reduceByKey（func，[numTasks]）。 首先是功能，您想對其執行任何操作，其次是“任務數”，它是可選參數。

根據您的機器配置，設置最佳任務數。

例如。 Rdd.redueceByKey（func，4）將創建四個並行的進程/任務以執行歸約操作。 它將比您目前的性能快四倍。