寫入 CSV 時的 Scala 數據幀需要將“”刪除為空

Question

我們有規模代碼，它正在讀取加載到 Dataframes 的鑲木地板文件，然后寫入 CSV 文件。 我們看到一些列沒有值，CSV 有空引號（比如這個“”），實際上當沒有值時，我們需要 CSV 中沒有引號的空，感謝任何建議。

例如：現在 col1, col2, col3 "abc","sss","","aaa"

預期 col1, col2, col3,col4 "abc","sss",,"aaa"

代碼片段：

tableDF.coalesce(1).write.option("header", includeColumnNames).mode(SaveMode.Overwrite).csv(pathToFolderWithCSV)

Answer 1

問題已修復，在添加如下 emptyValue "" 代碼后。

tableDF.coalesce(1).write.option("header", includeColumnNames).option("emptyValue","").mode(SaveMode.Overwrite).csv(pathToFolderWithCSV)