尝试将DataFrame写入CSV文件

Question

我正在尝试将DataFrame写入CSV文件。 我试过了

df.write.format("com.databricks.spark.csv").option("header", true)
  .option("codec", "org.apache.hadoop.io.compress.GzipCodec").save("myFile.csv")  

但这给了我错误：

java.lang.UnsupportedOperationException: CSV data source does not support array<struct<columnName:columntype...

但是，如果我在控制台上显示DataFrame，则可以正常打印。 我怎样才能写成一个csv甚至一个文本文件。

谢谢！！

编辑

我不需要把所有内容都写出来。 我选择了需要的行并使其正常运行，但感谢您的帮助！

Answer 1

您的数据框具有一个复杂的列（看起来像一个结构数组）。 使用csv，您只能拥有简单的列类型（例如String，Int，Date等），而没有数组或结构。