如何在突觸分析（Microsoft azure）中將 spark_df 讀取為 dataframe？

Question

如何在突觸分析（Microsoft azure）中將 spark_df 讀取為數據框，以便我可以在筆記本中使用 pandas 的必要代碼？

spark_df = spark.createDataFrame(filtered_df)
spark_df.write.mode("overwrite").saveAsTable("default.NYC_Taxi")

現在我想將表格讀取為 dataframe。 我嘗試了以下代碼：

new_df = NYC_Taxi.to_pandas_dataframe()

錯誤：

NameError : name 'nyc_taxi' is not defined
Traceback (most recent call last):
NameError: name 'nyc_taxi' is not defined

Answer 1

您可以使用如下代碼：

spark_df = spark.createDataFrame(filtered_df)

new_df = spark_df.select("*").toPandas()