為Hadoop實施協調器服務

Question

我想實現在Namenode中運行的協調器服務。

這樣，當映射任務完成任務時，它將向namenode發送反饋，以告知“機器（xxxx）已處理塊ID ...屬於文件...”。 Namenode將在表中維護這些信息（例如）。

我知道這種問題太籠統，但實際上我現在陷入了困境。

我可以在Hadoop中實現此功能嗎？ 任何人都可以給我理想或以前做過的類似任務？

Answer 1

您需要一個接收通知並將其存儲在某個位置的服務（可能是Rest服務或MQ），該服務是否運行在NameNode或群集之外的服務器上都沒有關系。 只是說NameNode是集群中最關鍵的一點，我真的不建議您使用它來部署任何其他服務。

然后，您將需要覆蓋清除 Map的方法，以在Map任務完成后發送“地圖任務已完成”消息。

或者，您可以嘗試使用Hadoop ResourceManager API來查看是否有您要查找的信息，而只需輪詢該API即可創建一個新的信息。