正确的 hive Metastore 可在 spark-shell 中访问，但不能在 spark-submit file.jar 中访问

Question

当我跑

spark-shell

在 linux shell 中然后尝试：

spark.sql("show databases").show()

我得到了正确的数据库列表（因为我连接到了正确的 Metastore）。 现在，当我使用以下代码提交我的 jar 时：

通过 - 提交

spark-submit file.jar

罐子代码 -

SparkConf conf = new SparkConf().setAppName("test");
SparkSession spark = SparkSession
            .builder()
            .config(conf)
            .enableHiveSupport()
            .getOrCreate();
spark.sql("show databases").show();

我列出的唯一数据库是默认的，因此它连接到错误的配置单元元存储。 我还尝试将.config("hive.metastore.uris", "thrift://localhost:9083")到我的spark对象，但结果相同。 该 uri 与/etc/spark/conf/hive-site.xml相同，都是正确的。

我怎样才能解决这个问题？

Answer 1

请尝试将--files /etc/hive/conf/hive-site.xml添加到您的 spark-submit 命令。