Hadoop：測量每個階段的持續時間（映射，隨機/排序，減少）

Question

我想知道一個非常相似的問題。 如何衡量Hadoop中每個階段（映射，隨機播放/排序，縮小）的持續時間？ 答案說，tasktracker的web / ui會顯示應用程序的每個持續時間。 但是我的環境是hadoop-2.2.0，並且沒有tasktracker。 因此tasktracker web / ui “ localhost：50030 / tasktracker.jsp”無法正常工作。 我猜答案僅適用於較低版本的hadoop（1.xx）。

在hadoop-2.xx版本中，如何測量每個階段的持續時間（映射，隨機/排序，減少）？ 是否有其他Web / UI可以檢查它們？

我的環境：Red hat 6.3，hadoop-2.2.0。

Answer 1

可以通過jobhistory URL http://localhost:19888/jobhistory看到此信息。從“已退休的工作”列表中單擊“工作ID”，它將為您顯示工作的平均地圖，減少，改組和合並時間。 如果單擊地圖或減少任務，則可以查看有關每個任務的開始和結束時間的詳細信息。