如何衡量Hadoop中每个阶段（映射，随机播放/排序，缩小）的持续时间？

Question

Hadoop执行映射，混洗/排序和缩减阶段。 我想知道每个阶段的持续时间。 我的意思是，他们需要多长时间？

我搜索了很多文档，但是找不到任何明确的解决方案。 例如，我设置了配置文件并启用了探查器，以便使用Hadoop探查器。 但是不会生成结果文件“ java.hprof.txt”。 此外，我不确定结果文件是否包含我想要的信息。

你能帮助我吗？

Answer 1

跟踪工作进度的一种方法是查看Hadoop提供的Web UI。 默认情况下，它在http://server-adress:50030/jobtracker.jsp 。

您可以在此处找到有关任务运行时，任务进度，查看日志和许多其他有用工具的信息。

Answer 2

您可以在其Web UI中的jobtracker的工作历史日志中找到所有这些信息。 它与作业运行时看到的UI不同。 在那里，您将分别找到每个阶段的时间。