Hadoop集群与docker swarm

Question

我正在尝试在具有多个主机的docker swarm中设置一个hadoop集群，每个docker节点上都有一个数据节点，并且已经安装了卷。我做了一些测试并且工作正常，但问题出现在datanode死亡然后返回时。

我在同一时间重新启动了2个主机，当容器再次运行时，它们会获得一个新的ip。 问题是namemode给出了一个错误，因为它认为它是另一个datanode。

ERROR org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: Data node 10.0.0.13:50010 is attempting to report storage ID 3a7b556f-7364-460e-beac-173132d77503. Node 10.0.0.9:50010 is expected to serve this storage.

是否可以防止docker分配新的ip，而是在重启后保留最后的ip？

或者Hadoop配置有什么选项来解决这个问题？

Answer 1

目前，官方不支持访问覆盖网络的容器的静态DHCP地址，如下所述： https://github.com/moby/moby/issues/31860 ： https://github.com/moby/moby/issues/31860 。

我希望，docker将很快为此提供解决方案。