Azure 数据湖和导出 SQL 查询 pyspark

Question

希望使用我存储在 Azure Lake 中的数据库。 例如，我可以使用笔记本运行 SQL 查询（将 PySpark 设置为语言）

%%sql

*

from db1.table1

我现在要做的就是添加另一个笔记本/代码行以将上述 SELECT 语句的结果导出为数据框（随后是 CSV）。

Answer 1

df = spark.sql("""SELECT * FROM db1.table1""")

df.coalesce(1).write.csv("path/df1.csv")

Answer 2

我建议创建global temp view 。 因此，只要您的集群未终止，您就可以在任何笔记本中使用此视图。 话虽如此，您可以如下创建全局临时视图 -

df.createOrReplaceGlobalTempView("temp_view")

请遵循 Databricks 的以下官方文档 -
https://docs.databricks.com/spark/latest/spark-sql/language-manual/sql-ref-syntax-ddl-create-view.html