无法使用 azure 中的 pyspark 访问表

Question

我在 azure 突触中创建了一个带有表的数据库，这是样本 azure 数据的外部表。

我运行下面的代码以通过 pyspark 访问此表中的数据

df = spark.sql("select * FROM greentaxidb.dbo.taxitable")

当我运行上面的代码时，我得到：

pyspark.sql.utils.AnalysisException: The namespace in session catalog must have exactly one name part: greentaxidb.dbo.taxitable

Answer 1

使用 saveAsTable 将数据加载到 dataframe 以在 pyspark 笔记本中运行。

%%pyspark
df = spark.read.load('abfss://<container-name>@<storage-account-name>.dfs.core.windows.net/<filename>', format='parquet')
df.write.mode("overwrite").saveAsTable("testdb.test1")

--

%%pyspark
df = spark.sql("select * from testdb.test1")
display(df)

您可以通过此处和此处的链接了解更多详细信息，go。