將 Scala Dataframe 寫入 CSV 文件時應用 UTF8 編碼

Question

將 dataframe 寫入 Spark2-Scala 中的 CSV 文件時，如何正確應用 UTF8 編碼？ 我正在使用這個：

df.repartition(1).write.mode(SaveMode.Overwrite)
.format("csv").option("header", true).option("delimiter", "|")
.save(Path)

而且它不起作用：例如：將 é 替換為奇怪的字符串。

謝謝你。

Answer 1

因此，正如@Hristo Iliev 建議的那樣，我需要強制使用 UTF 編碼：

df.repartition(1).write.mode(SaveMode.Overwrite)
.format("csv").option("header", true).option("encoding", "UTF-8").option("delimiter", "|")
.save(Path)