通过Spark创建的Hive表在HUE / Hive GUI中不可见

Question

我使用下面的代码从scala创建一个hive表：

  val spark = SparkSession
    .builder()
    .appName("self service")
    .enableHiveSupport()
    .master("local")
    .getOrCreate()

  spark.sql("CREATE TABLE default.TEST_TABLE (C1 INT)")

该表必须成功创建，因为如果我两次运行此代码，则会收到一条错误消息，指出该表已存在。

但是，当我尝试从GUI（HUE）访问此表时，我看不到Hive中的任何表，因此似乎它被保存在Hive在HUE中用于获取此信息的不同路径中。

您知道如何查看从HUE / Hive Web GUI的代码中创建的表吗？

任何帮助将不胜感激。 非常感谢你。

Answer 1

在我看来，您尚未将hive-site.xml添加到正确的路径。 Hive-site具有触发与Hive成功连接所需的属性，应将其添加到目录中

SPARK_HOME / conf /

您还可以使用spark.driver.extraClassPath添加此文件，并提供该文件所在的目录。 例如在pyspark提交

/usr/bin/spark2-submit \
--conf spark.driver.extraClassPath=/../ Directory with Hive-site.xml / \
--master yarn --deploy-mode client --driver-memory nG --executor-memory nG \  
--executor-cores n myScript.py