配置SnakeBite HDFS客戶端以使用高可用性模式

Question

我正在使用snakebite庫從我的氣流dags訪問HDFS。

我的HDFS群集已升級到高可用性模式。 現在，這意味着當該namenode不是活動節點時，配置為僅指向一個名稱節點的客戶端將失敗。

我可以使用哪些策略來實現高可用性高可用性模式？ 我可以配置snakebite客戶端以故障轉移到另一個節點嗎？ 我可以使用某種負載均衡器將流量引導到正確的名稱節點嗎？

Answer 1

事實證明Snakebite沒有一個，而是兩個解決這個問題的方法： AutoConfigClient ，它將從hadoop配置中獲取配置，而HAClient則需要兩個名稱節點 。

在我的情況下，我實際上是通過氣流使用蛇咬傷。 事實證明，氣流的HDFSHook非常智能，能夠應對在一個連接中提供的兩個名稱節點，然后將使用HAClient。