写入 CSV 时的 Scala 数据帧需要将“”删除为空

Question

我们有规模代码，它正在读取加载到 Dataframes 的镶木地板文件，然后写入 CSV 文件。 我们看到一些列没有值，CSV 有空引号（比如这个“”），实际上当没有值时，我们需要 CSV 中没有引号的空，感谢任何建议。

例如：现在 col1, col2, col3 "abc","sss","","aaa"

预期 col1, col2, col3,col4 "abc","sss",,"aaa"

代码片段：

tableDF.coalesce(1).write.option("header", includeColumnNames).mode(SaveMode.Overwrite).csv(pathToFolderWithCSV)

Answer 1

问题已修复，在添加如下 emptyValue "" 代码后。

tableDF.coalesce(1).write.option("header", includeColumnNames).option("emptyValue","").mode(SaveMode.Overwrite).csv(pathToFolderWithCSV)