高可用性在 Hadoop 集群中不起作用

Question

我正在尝试将我的非 HA 名称节点移动到 HA。 按照 Apache Hadoop 文档设置 JournalNode 的所有配置后，我能够启动名称节点。 但是，名称节点立即崩溃并引发以下错误。

错误 org.apache.hadoop.hdfs.server.namenode.NameNode：无法启动名称节点。 java.io.IOException：编辑日志中似乎存在间隙。 我们期望 txid 43891997，但得到 txid 45321534。

我试图恢复编辑日志，初始化共享编辑等，但没有任何效果。 我不确定如何在不格式化 namenode 的情况下解决此问题，因为我不想丢失任何数据。

任何帮助是极大的赞赏。 提前致谢。

Answer 1

问题在于 linux 机器上打开文件的限制。 我增加了打开文件的限制，然后共享编辑的初始化工作。