在YARN中如何分配容器？

Question

在Mapreduce 1中，Jobtracker從NameNode獲取Block信息，然后將Task（最有可能）分配給Task Tracker，該Task Tracker在與存在Datablocks相同的節點中可用。 那里的表現可以提高。

YARN如何處理？ Application Manager負責從NameNode獲取塊信息嗎？

如果是這樣，那么如何將容器分配給那些應用程序主服務器？ 資源管理器在分配容器時是否考慮了DataBlock位置？ 還是在節點中隨機分配任何容器？

Answer 1

從技術上講，它是JobClient用來計算輸入拆分的角色，此拆分信息放置在HDFS中，ApplicationMaster將從中提取該拆分信息，並在向ResourceManager請求容器時使用此信息。

因此，從技術上講，Application Master在請求所有地圖任務的容器時，會將有關每個地圖任務數據局部性的信息傳遞給ResourceManager。 調度程序使用此信息制定調度決策，嘗試將任務分配給數據本地。