Spark sql在HDP的配置单元中找不到表

Question

我使用 HDP3.1 并添加了 Spark2、Hive 和其他需要的服务。 我关闭了 Hive 中的 ACID 功能。 spark 作业在 hive 中找不到表。 但是该表存在于 Hive 中。 异常如：org.apache.spark.sql.AnalysisException: Table or view not found Spark 的 conf 文件夹中有 hive-site.xml。 它由 HDP 自动创建。 但它与配置单元的 conf 文件夹中的文件不同。 并且从日志中spark可以正确获取到hive的thrift URI。 我使用 spark sql 并在 spark-shell 中创建了一个配置单元表。 我发现该表是在 spark.sql.warehouse.dir 指定的折叠中创建的。 我将其值更改为 hive.metastore.warehouse.dir 的值。 但问题仍然存在。 我还在创建 spark 会话时启用了配置单元支持。

val ss = SparkSession.builder().appName("统计").enableHiveSupport().getOrCreate()

Answer 1

在 spark 的 conf 文件夹中的 hive-site.xml 中有 metastore.catalog.default。 它的价值是火花。 应该改为hive。 顺便说一句，我们应该禁用配置单元的 ACID 特性。

Answer 2

您可以使用 hivewarehouse 连接器并在 hive conf 中使用 llap

Answer 3

在 HDP 3.0 及之后的版本中，Spark 和 Hive 使用独立的目录来访问相同或不同平台上的 SparkSQL 或 Hive 表。

默认情况下，Spark 仅读取 Spark Catalog。 而且，这意味着尝试读取/写入使用 hive CLI 创建的表的 Spark 应用程序将失败，并出现表未找到异常。

解决方法：

• 在 Hive CLI 和 Spark SQL 中创建表
• Hive 仓库连接器