如何使用蛇咬python客戶端訪問kerberized集群

Question

我一直在努力如何將必要的參數傳遞給snakebite實用程序，以便它能夠訪問以kerberized的集群。 我嘗試在/ usr / local / etc / hadoop路徑中設置必要的conf目錄，以及使用kinit初始化和獲取票證。

在這方面的任何幫助或工作示例將不勝感激。

注意：我已經通過使用“ hadoop” CLI從同一台計算機訪問群集來測試環境設置是否正確。

Answer 1

我建議您為此使用autoconfigure類：

from snakebite.client import AutoConfigClient
client = AutoConfigClient()

它支持HA，並通過HADOOP_HOME環境變量自動配置。

請確保您還有一個有效的密鑰表

環境的klist輸出如下所示（其中只有1個條目）

Credentials cache: API:1350E541-0CCD-46B9-938E-2C1C8E03A909
    Principal: saurabh@HADOOP_DEV.MY-COMPANY.COM

  Issued                Expires               Principal
May 31 16:45:30 2017  Jun  1 02:45:30 2017  krbtgt/HADOOP_DEV.MY-COMPANY.COM@HADOOP_DEV.MY-COMPANY.COM

這使我能夠成功列出HDFS上的目錄

hadoop fs -ls /user/saurabh