Hadoop：測量JAVA的隨機播放時間

Question

有沒有辦法使用Hadoop API（Hadoop 1.2.1）從客戶端獲取每個reduce任務所需的shuffle時間。 我可以使用getReduceTaskReports（JobID jobID）方法從JobClient獲取reduce任務的執行時間，但我想知道是否有辦法獲得與shuffle時間相對應的百分比。 提前致謝。

Answer 1

該問題的解決方案是使用Apache Rumen（ http://hadoop.apache.org/docs/r1.2.1/rumen.html ）。 此框架使您能夠以JSON格式檢索作業歷史記錄日志，通過簡單的JSON解析，我能夠檢索所需的信息。