如何在Hadoop mapreduce中處理負載平衡？

Question

如何在Hadoop mapreduce中處理負載平衡？ 我正在編寫一個分布式應用程序，其中服務器根據基准測試，可用內存，CPU內核數量，CPU使用率，可用GPU數量/使用量將作業分配給工作節點？ 我對mapreduce不是很有經驗，並且已經在apache的網站上閱讀了一些文檔，但我仍然不確定如何去解決這個問題。 我可以進行基准計算並獲得所有這些信息，然后通過算法動態分割輸入嗎？

謝謝！

Answer 1

“MapReduce是一種編程模型，是處理和生成大型數據集的相關實現”，是MapReduce論文摘要的摘錄。

正如您在評論中所說的那樣，您的項目似乎不是數據密集型而是計算密集型，因此我認為MapReduce不是您需要使用的工具。

Answer 2

MapReduce系統的性能很大程度上取決於均勻的數據分布。 Apache MapReduce框架使用簡單的方法來分配工作負載，並為每個reducer分配相同數量的集群。

負載不平衡可以提高處理時間，甚至可以通過減速器任務的高運行時復雜性進行放大。 需要自適應負載平衡策略來解決基於給定成本模型估計分配給減速器的任務的成本的問題。