如何衡量Hadoop中每個階段（映射，隨機播放/排序，縮小）的持續時間？

Question

Hadoop執行映射，混洗/排序和縮減階段。 我想知道每個階段的持續時間。 我的意思是，他們需要多長時間？

我搜索了很多文檔，但是找不到任何明確的解決方案。 例如，我設置了配置文件並啟用了探查器，以便使用Hadoop探查器。 但是不會生成結果文件“ java.hprof.txt”。 此外，我不確定結果文件是否包含我想要的信息。

你能幫助我嗎？

Answer 1

跟蹤工作進度的一種方法是查看Hadoop提供的Web UI。 默認情況下，它在http://server-adress:50030/jobtracker.jsp 。

您可以在此處找到有關任務運行時，任務進度，查看日志和許多其他有用工具的信息。

Answer 2

您可以在其Web UI中的jobtracker的工作歷史日志中找到所有這些信息。 它與作業運行時看到的UI不同。 在那里，您將分別找到每個階段的時間。