有關hadoop中的map-reduce執行的查詢

Question

假設數據不在其節點中，而在其他計算機中，

• 任務跟蹤器將如何知道哪個節點包含數據？

• 它直接與該數據節點通信嗎？ 還是它將與自己的數據節點聯系，並承擔復制數據的責任？

Answer 1

任務跟蹤器將如何知道哪個節點包含數據？

TaskTracker不知道。 JobTracker與Namenode聯系，獲取數據位置，並盡最大努力將數據從一個節點分配到同一節點上（或盡可能靠近）的TaskTracker。

它直接與該數據節點通信嗎？ 還是它將與自己的數據節點聯系，並承擔復制數據的責任？

它直接與Datanode對話。