將 spark DataFrame 保存為 Parquet 的問題

Question

我正在嘗試將 DataFrame 保存為 Parquet 文件的路徑。 問題是：display() 函數在“Prop_0”中顯示了一堆結果，但是每當我嘗試保存它們時，只有第一個被轉換並進入路徑。

我正在使用的代碼是：

dbutils.fs.rm(Path_1, True)
avroFile = spark.read.format('com.databricks.spark.avro').load(Path_1)
avroFile.write.mode("overwrite").save(Path_2, format="parquet") 

Answer 1

這是預期的行為，Spark 使用 Hadoop 文件格式，並且這種文件格式需要對數據進行分區 - 這就是您擁有部分文件的原因。

我可以毫無問題地運行上面的代碼。

您可以使用以下方法將 spark DataFrame 保存為鑲木地板文件。