如何將spark2.0連接到hive-jdbc-1.1.0

Question

我有一個問題。當我在本地運行hive-jdbc的spark任務時，我可以連接該配置單元。但是當我在使用spark-submit的集群中運行它時，它失敗了。

線程“主”中的異常java.sql.SQLException：無法建立與jdbc：hive2：//172.16.28.99：10000 / vdm_da_dev.db的連接：未設置必填字段'client_protocol'！ Struct：TOpenSessionReq（client_protocol：null，配置：{use：database = vdm_da_dev.db}）“

客戶端是hive-jdbc-1.1.0-cdh5.6.0 ，服務器是hive-1.1.0-cdh5.6.0. 但是火花是spark-2.0.0 ， /opt/spark/jars中的hive-jdbc-1.2.1.spark2.jar是hive-jdbc-1.2.1.spark2.jar 。

我用所有節點的hive-jdbc-1.1.0-cdh5.6.0.jar替換了它，但是仍然是錯誤的。

我將項目與依賴項打包在一起，但是在spark-submit中，它沒有使用它們。 我該怎么做？

拜托，任何人都可以幫助我。 非常感謝。

Answer 1

您可以使用cloudera中的指南獲取其他參數： 在cloudera上運行spark應用

通常，火花提交應如下所示：

spark-submit --class *class_main* \
--master yarn \
--deploy-mode cluster \
--conf "key=value" \
--files path_to_spark_conf/hive-site.xml \
--jars full_path/addiational_dependecy_jars \
app_package.jar

在--jars可能應該提供datanucleus-core, datanucleus-rdbms, datanucleus-api-jdo以便與配置單元和配置單元元存儲一起使用。

Answer 2

非常感謝FaigB！

我按照@FaigB的指示做，但是我發現在依賴類路徑中沒有依賴罐。

然后我刪除了/ opt / spark / jars /中的所有配置單元依賴罐，並從/opt/cloudera/parcels/CDH-5.6.0-1.cdh5.6.0.p0.45/jars/復制它們。然后我解決了版本不匹配的錯誤。

就像：

-rw-r--r--. 1 spark spark   138464 8月  19 13:55 hive-beeline-1.2.1.spark2.jar_bk
-rw-r--r--. 1 spark spark    37995 11月 15 01:00 hive-cli-1.1.0-cdh5.6.0.jar
-rw-r--r--. 1 spark spark    40817 8月  19 13:55 hive-cli-1.2.1.spark2.jar_bk
-rw-r--r--. 1 spark spark 11498852 8月  19 13:55 hive-exec-1.2.1.spark2.jar_bk
-rw-r--r--. 1 spark spark    95006 11月  9 14:59 hive-jdbc-1.1.0-cdh5.6.0.jar
-rw-r--r--. 1 spark spark   100680 8月  19 13:55 hive-jdbc-1.2.1.spark2.jar_bk
-rw-r--r--. 1 spark spark  5505200 8月  19 13:55 hive-metastore-1.2.1.spark2.jar_bk
-rw-r--r--. 1 spark spark  1874242 11月 15 01:00 hive-service-1.1.0-cdh5.6.0.jar
-rw-r--r--. 1 spark spark  1033763 8月  19 13:55 spark-hive_2.11-2.0.0.jar_bk
-rw-r--r--. 1 spark spark  1813851 8月  19 13:55 spark-hive-thriftserver_2.11-2.0.0.jar_bk

[spark@d2 jars]$ cp  hive-service-1.1.0-cdh5.6.0.jar /opt/spark/jars/
[spark@d2 jars]$ cp hive-cli-1.1.0-cdh5.6.0.jar /opt/spark/jars/
[spark@d2 jars]$ cp spark-hive_2.10-1.5.0-cdh5.6.0.jar /opt/spark/jars/
[spark@d2 jars]$ cp hive-exec-1.1.0-cdh5.6.0.jar /opt/spark/jars/
[spark@d2 jars]$ cp hive-metastore-1.1.0-cdh5.6.0.jar /opt/spark/jars/
[spark@d2 jars]$ cp hive-beeline-1.1.0-cdh5.6.0.jar /opt/spark/jars/