嘗試將DataFrame寫入CSV文件

Question

我正在嘗試將DataFrame寫入CSV文件。 我試過了

df.write.format("com.databricks.spark.csv").option("header", true)
  .option("codec", "org.apache.hadoop.io.compress.GzipCodec").save("myFile.csv")  

但這給了我錯誤：

java.lang.UnsupportedOperationException: CSV data source does not support array<struct<columnName:columntype...

但是，如果我在控制台上顯示DataFrame，則可以正常打印。 我怎樣才能寫成一個csv甚至一個文本文件。

謝謝！！

編輯

我不需要把所有內容都寫出來。 我選擇了需要的行並使其正常運行，但感謝您的幫助！

Answer 1

您的數據框具有一個復雜的列（看起來像一個結構數組）。 使用csv，您只能擁有簡單的列類型（例如String，Int，Date等），而沒有數組或結構。