Hive具有Hadoop高可用性

Question

我想了解配置單元如何知道哪個hadoop namenode處於活動狀態以及活動的namenode發生故障時會發生什么

Answer 1

通過metatool將Hive配置為指向HA HDFS的已配置dfs.nameservices 。 參見https://cwiki.apache.org/confluence/display/Hive/Hive+MetaTool 。 dfs.nameservices是邏輯地址，而實際的namenode是使用dfs.ha.namenodes.[id]配置的。

至於哪個Namenode是活動的，狀態存儲在Zookeeper中。 當活動名稱節點發生故障時，將在配置的時間（默認ha.zookeeper.session-timeout.ms 5秒， ha.zookeeper.session-timeout.ms ）后觸發故障轉移。 防護腳本是必需的，並且會觸發備用名稱節點變為活動狀態。

Answer 2

在hdfs HA環境名稱節點url中應為邏輯名稱（例如hdfs：// logicalnamenode）。 我們需要配置配置單元以使用HA。 為此，您需要使用metatool命令更改配置單元名稱節點配置。

1. 列出當前的NN配置
   〜＃metatool -listFSRoot
   hdfs：// namenode：8020 / user / hive / warehouse
2. 以下命令將使用邏輯名稱更新舊的NN配置
   metatool -updateLocation hdfs：//邏輯名稱節點hdfs：// namenode：8020 -tablePropKey avro.schema.url