我怎么知道正在運行多少個映射器和化簡器？

Question

我的任務旨在運行許多地圖/縮小任務。 其中一些是IO密集型的，一些是Mapper密集型的，一些是Reduce密集型的。 我希望能夠監視當前正在使用的映射器和化簡器的數量，以便在釋放一組映射器時，可以將另一個映射器密集型工作推送到集群中。 我不想只是將它們堆疊在隊列中，因為它們可能會阻塞映射器，而不是讓reducer密集的映射器運行。

我可以調用一個命令行界面來從（例如）Python腳本中獲取此信息嗎？

Answer 1

可以通過以下方式訪問Hadoop作業狀態。

• Hadoop作業可以通過hadoop Web UI進行管理。

  Jobracker顯示作業詳細信息，默認端口為50030（偽模式下為localhost：50030

  任務跟蹤器顯示單個映射/歸約任務，默認端口50060上提供該任務。

• Hadoop提供了一個REST API來訪問集群，節點，應用程序和應用程序歷史信息。

  也可以從Python腳本調用此REST API，以獲取應用程序狀態。 http://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html

Answer 2

我發現

mapred job -list

將列出當前正在運行的所有作業，並且

mapred job -status <job_id>

將提供每個作業的映射器和縮小器的數量。