Azure數據工廠HDInsight點播群集“無法實例化SessionHiveMetaStoreClient”

Question

我通過使用Visual Studio部署ARM模板來部署Azure數據工廠，基本上完全按照此Azure教程逐步進行。

該模板定義了一個數據工廠，具有一個Azure存儲鏈接服務（用於讀取和寫入源和輸出數據），一個輸入數據集和一個輸出數據集，一個HDInsight按需鏈接服務以及一個運行HDInsight HIVE活動的管道。運行HIVE腳本，該腳本將輸入數據集處理為輸出數據集。

一切都成功部署，並且pipeine活動開始。 但是我從活動中收到以下錯誤：

線程“主”中的異常java.lang.RuntimeException：java.lang.RuntimeException： 無法在 org.apache.hadoop.hive.ql.session.SessionState.start處實例化 org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient （SessionState.java:445）在org.apache.hadoop.hive.cli.CliDriver.run（CliDriver.java:675）在org.apache.hadoop.hive.cli.CliDriver.main（CliDriver.java:619）在位於java.lang.reflect.Method處的sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:57）處的sun.reflect.NativeMethodAccessorImpl.invoke0（本地方法）在org.apache.hadoop.util.RunJar.main（RunJar.java:136）處調用（Method.java:606）在org.apache.hadoop.util.RunJar.run（RunJar.java:221）

我發現不同的崗位，如這一個和這一個暗示porblem是由在HIVE metastore數據庫名稱破折號或連字符一個已知的bug。

我的問題是，使用ARM模板按需部署HDInsigh集群時，我無法訪問該集群本身，因此無法進行任何手動配置更改（按需的想法是它是瞬態的，只能創建服務一組需求，然后將其刪除）。

只需按照教程逐步進行，就可以輕松重現該問題。

我發現的唯一一線希望是， 按照此處所述設置hcatalogLinkedServiceName ，其目的是允許您使用自己的Azure SQL數據庫作為配置單元。 但是，這也不起作用-如果我使用該屬性，則會得到：

“ JamesTestTutorialARMDataFactory / HDInsightOnDemandLinkedService”失敗，並顯示消息“ 未為此預訂啟用HCatalog集成。 '

我的訂閱不受限制，並且應該具有Azure的所有功能。 所以現在我完全被卡住了。 目前看來，將Hive與點播HDInsight結合使用基本上是不可能的？

如果有人能想到嘗試的方法，我將不知所措！

謝謝

Answer 1

我最近學習了該教程，並修訂了該教程。 這是我的版本， https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-create-linux-clusters-adf/ 。 我沒有看到錯誤。 Hive表名稱沒有連字符。 我認為我的方法更容易理解。 我對模板本身做了一些小的更改。

Answer 2

我設法與GIT教程的作者聯系-他聯系了Azure產品團隊，這是他們的回應：

...將ADF與基於Linux的HDI群集一起使用時，這是一個已知問題。 HDI團隊已解決此問題，並將在未來幾周內部署此修復程序。 同時，您必須將基於窗口的HDI群集與ADF一起使用。

現在請使用Windows作為osType。 我已經在GIT中修復了該文章，它將在明天的某個時間發布。

我鏈接到的教程確實已更改為使用Windows而不是Linux。 我已經嘗試過了，並且有效。