有关hadoop中的map-reduce执行的查询

Question

假设数据不在其节点中，而在其他计算机中，

• 任务跟踪器将如何知道哪个节点包含数据？

• 它直接与该数据节点通信吗？ 还是它将与自己的数据节点联系，并承担复制数据的责任？

Answer 1

任务跟踪器将如何知道哪个节点包含数据？

TaskTracker不知道。 JobTracker与Namenode联系，获取数据位置，并尽最大努力将数据从一个节点分配到同一节点上（或尽可能靠近）的TaskTracker。

它直接与该数据节点通信吗？ 还是它将与自己的数据节点联系，并承担复制数据的责任？

它直接与Datanode对话。