Oozie蜂房在HDP-1.3.3上使用kerberos

Question

我正在嘗試在啟用了kerberos的環境中從oozie hive動作執行hive腳本。

這是我的workflow.xml

 <action name="hive-to-hdfs"> <hive xmlns="uri:oozie:hive-action:0.2"> <job-tracker>${jobTracker}</job-tracker> <name-node>${nameNode}</name-node> <job-xml>hive-site.xml</job-xml> <configuration> <property> <name>mapred.job.queue.name</name> <value>${queueName}</value> </property> </configuration> <script>script.q</script> <param>HIVE_EXPORT_TIME=${hiveExportTime}</param> </hive> <ok to="pass"/> <error to="fail"/> 

嘗試連接到配置單元metastore時遇到問題。

6870 [main]信息hive.metastore-嘗試使用URI thrift：//10.0.0.242：9083連接到metastore心跳心跳67016 [main] WARN hive.metastore-set_ugi（）不成功，可能的原因：新客戶在說話到舊服務器。 沒有它繼續。 org.apache.thrift.transport.TTransportException：java.net.SocketTimeoutException：org.apache.thrift.transport.TTransport.readAll處的org.apache.thrift.transport.TIOStreamTransport.read（TIOStreamTransport.java:129）讀取超時（TTransport.java:84），位於org.apache.thrift.protocol.TBinaryProtocol.readAll（TBinaryProtocol.java:378），位於org.apache.thrift.protocol.TBinaryProtocol.readI32（TBinaryProtocol.java:297）

67018 [main]信息hive.metastore-等待下一次連接嘗試1秒鍾。 68018 [main]信息hive.metastore-已連接到metastore。 心跳心跳128338 [main]警告org.apache.hadoop.hive.metastore.RetryingMetaStoreClient-MetaStoreClient失去連接。 嘗試重新連接。 org.apache.thrift.transport.TTransportException：java.net.SocketTimeoutException：org.apache.thrift.transport.TTransport.readAll處的org.apache.thrift.transport.TIOStreamTransport.read（TIOStreamTransport.java:129）讀取超時（TTransport.java:84），位於org.apache.thrift.protocol.TBinaryProtocol.readAll（TBinaryProtocol.java:378），位於org.apache.thrift.protocol.TBinaryProtocol.readI32（TBinaryProtocol.java:297）

129339 [main]信息hive.metastore-嘗試使用URI thrift：//10.0.0.242：9083連接到metastore心跳心跳189390 [main] WARN hive.metastore-set_ugi（）不成功，可能的原因：新客戶在說話到舊服務器。 沒有它繼續。 org.apache.thrift.transport.TTransportException：java.net.SocketTimeoutException：org.apache.thrift.transport.TTransport.readAll處的org.apache.thrift.transport.TIOStreamTransport.read（TIOStreamTransport.java:129）讀取超時（TTransport.java:84），位於org.apache.thrift.protocol.TBinaryProtocol.readAll（TBinaryProtocol.java:378），位於org.apache.thrift.protocol.TBinaryProtocol.readI32（TBinaryProtocol.java:297）

189391 [main] INFO hive.metastore-等待1秒鍾，下次嘗試連接。 190391 [main] INFO hive.metastore-已連接到metastore。 心跳心跳250449 [main]錯誤org.apache.hadoop.hive.ql.parse.SemanticAnalyzer-org.apache.hadoop.hive.ql.metadata.HiveException：無法在org.apache.hadoop.hive上獲取表SESSION_MASTER。 org.apache.hadoop.hive.ql.metadata.Hive.getTable（Hive.java:887）的.ql.metadata.Hive.getTable（Hive.java:953）org.apache.hadoop.hive.ql.parse的.ql.metadata.Hive.getTable（Hive.java:953） .org.apache.hadoop.hive.ql.parse上的.SemanticAnalyzer.getMetaData（SemanticAnalyzer.java:1083）在SemanticAnalyzer.getMetaData（SemanticAnalyzer.java:1059）

當我禁用kerberos時，安全工作流程工作正常

Answer 1

為了使您的Oozie Hive操作能夠在受保護的群集上起作用，您需要在工作流程中包括一個<credentials>部分，其憑據類型為“ hcat”。

您的工作流程將如下所示：

<workflow-app name='workflow' xmlns='uri:oozie:workflow:0.1'>
    <credentials>
        <credential name='hcat' type='hcat'>
            <property>
                <name>hcat.metastore.uri</name>
                <value>HCAT_URI</value>
            </property>
            <property> 
                <name>hcat.metastore.principal</name>
                <value>HCAT_PRINCIPAL</value>
            </property>
        </credential>
    </credentials>

    <action name="hive-to-hdfs" cred="hcat">
        <hive xmlns="uri:oozie:hive-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <job-xml>hive-site.xml</job-xml>
            <configuration>
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <script>script.q</script>
            <param>HIVE_EXPORT_TIME=${hiveExportTime}</param>
        </hive>
        <ok to="pass"/>
        <error to="fail"/>
    </action>
</workflow>

也有關於此功能的Oozie文檔 。