hadoop-streaming：reduce任務如何計算縮減的輸入大小？ 以及如何解決？

Question

我在jobtracker日志中看到以下內容：

011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; but we expect reduce input to take 176511226508    

• 我想知道hadoop如何計算出減速器的輸入量為176511226508 。
• 我有兩個小型工節點，每個節點70個演出，一個減速機，如何解決此問題？ by increasing the number of reducers?

Answer 1

檢查ResourceEstimator＃getEstimatedReduceInputSize（） 。 與往常一樣，圍繞getEstimatedReduceInputSize函數的注釋很少。 必須付出一些努力才能理解它。