为Hadoop实施协调器服务

Question

我想实现在Namenode中运行的协调器服务。

这样，当映射任务完成任务时，它将向namenode发送反馈，以告知“机器（xxxx）已处理块ID ...属于文件...”。 Namenode将在表中维护这些信息（例如）。

我知道这种问题太笼统，但实际上我现在陷入了困境。

我可以在Hadoop中实现此功能吗？ 任何人都可以给我理想或以前做过的类似任务？

Answer 1

您需要一个接收通知并将其存储在某个位置的服务（可能是Rest服务或MQ），该服务是否运行在NameNode或群集之外的服务器上都没有关系。 只是说NameNode是集群中最关键的一点，我真的不建议您使用它来部署任何其他服务。

然后，您将需要覆盖清除 Map的方法，以在Map任务完成后发送“地图任务已完成”消息。

或者，您可以尝试使用Hadoop ResourceManager API来查看是否有您要查找的信息，而只需轮询该API即可创建一个新的信息。