對Hadoop Map-Reduce應用程序進行基准測試

Question

我需要按作業執行時間比較兩種Hadoop調度算法。 我可以使用什么來獲取所有任務的執行時間？

Answer 1

您可以從以下地址查看有關任務和作業的詳細信息：

http://hostnameofmachinerunningtheJobTracker:50030/jobtracker.jsp

您可以從鏈接中獲取其他信息

Answer 2

JobTracker Web UI為您提供了非常有用的報告，可以將所有內容與每個映射器和化簡器的可用日志進行比較。

還要查看hadoop-test.jar存檔中的mrbench類。 有大量的信息，關於它的用法為Hadoop集群基准像凈這篇文章 。