如何在 Databricks 的 PySpark 中使用 Scala 中創建的 DataFrame

Question

我的 Databricks 筆記本位於 Python 上。 筆記本中的一些代碼是用 Scala 編寫的（使用 %scala），其中之一是用於創建 dataframe。

如果我再次使用 Python/PySpark（默認模式），我如何使用/訪問在 scala 模式下創建的 dataframe？

甚至可能嗎？

謝謝

Answer 1

您可以通過 SparkSQL 中的臨時表訪問以一種語言和另一種語言創建的 DataFrame。

例如，假設您在 scala 中有一個名為 scalaDF 的scalaDF 。 您可以創建一個臨時視圖並使其可供 Python 單元訪問，例如：

scalaDF.createOrReplaceTempView("my_table")

然后在 Python 單元中，您可以運行

pythonDF = spark.sql("select * from my_table")

pythonDF.show()

同樣適用於在這些語言和 R 之間傳遞數據幀。 常見的構造是 SparkSQL 表。