无法将临时视图与 spark 中的数据库相关联 session

Question

我正在尝试使用 spark 从 csv 文件创建临时视图。

要重现我的生产场景，我需要在本地测试我的脚本，但在生产中我使用的是 Glue Jobs (AWS)，其中有数据库和表。

在下面的代码中，我在我的 spark session 中创建了一个数据库并使用它，之后，我创建了一个临时视图。

from pyspark.sql import SparkSession

spark=SparkSession.builder.appName("pulsar_data").getOrCreate()

df = spark.read.format('csv')\
                       .options(infer_schema=True)\
                       .options(header=True)\
                       .load('pulsar_stars.csv')

spark.sql('CREATE DATABASE IF NOT EXISTS MYDB')
spark.sql('USE MYDB')

df.createOrReplaceTempView('MYDB.TB_PULSAR_STARS')

spark.catalog.listTables()
spark.sql('SELECT * FROM MYDB.TB_PULSAR_STARS').show()

但是，当我尝试访问 select db.table 时，Spark 无法找到我的临时视图和数据库之间的关系并抛出以下错误：

*** pyspark.sql.utils.AnalysisException: Table or view not found: MYDB.TB_PULSAR_STARS; line 1 pos 14;
'Project [*]
+- 'UnresolvedRelation [MYDB, TB_PULSAR_STARS], [], false

使用 pdb 调试我的代码，我列出了我的 spark session 目录，我发现我的表实际上是关联的：

(Pdb) spark.catalog.listTables()
[Table(name='tb_pulsar_stars', database='MYDB', description=None, tableType='TEMPORARY', isTemporary=True)]

我怎样才能使这种关系发挥作用？

Answer 1

与 DataFrame 关联的临时视图名称只能是一个段。 这在 Spark 代码中已在此处明确检查。 我希望您的代码抛出AnalysisException: CREATE TEMPORARY VIEW or the corresponding Dataset APIs only accept single-part view names, but got: MYDB.TB_PULSAR_STARS - 不确定为什么在您的情况下它有点不同。

无论如何，使用：

df.createOrReplaceTempView('TB_PULSAR_STARS')
spark.sql('SELECT * FROM TB_PULSAR_STARS').show()

如果您需要实际将此数据写入表，请使用以下方法创建它：

spark.sql("CREATE TABLE MYDB.TB_PULSAR_STARS AS SELECT * FROM TB_PULSAR_STARS")