Spark 2.1.0 Thrift 服務器不顯示全局臨時表

Question

我正在運行帶有 MySQL Metastore 的 Spark 2.1.0 Thrift 服務器。

在我長期運行的應用程序中，我使用createGlobalTempView或createOrReplaceTempView函數保存數據幀，但我無法通過直線看到它們

當我使用write().saveAsTable() ，沒問題，我可以看到帶有直線的表格。

我的 thrift 服務器和應用程序是同一個 Spark 集群上的 2 個應用程序，我設置了

spark.sql.hive.thriftServer.singleSession=true

Answer 1

對於標准臨時視圖是預期的行為。 臨時表僅在特定SparkSession的范圍內可見。

spark.sql.hive.thriftServer.singleSession表示到 Thrift 服務器的所有連接都應該使用單個會話，而不是所有應用程序都有一個全局會話。

要使用 Thrift serve 公開臨時表，您必須使用注冊表的相同上下文啟動它。

對於全局臨時視圖 (2.1+)，您應該使用限定名稱（包括數據庫名稱spark.sql.globalTempDatabase ）來訪問視圖。