python/pyspark - 从 csv 读取特殊字符并将其写回文件

Question

我正在阅读一个 csv 文件，其中的一些值列在这样的列中 -

MÉXICO
ATLÁNTICO

我正在使用 encoding = 'utf8' 读取文件，但是在处理值发生如下变化之后

M�XICO
ATL�NTICO

我该怎么做才能保留输入文件中的原始值。

编辑 - 也尝试过 utf-16 和 ISO-8859-1。 但也无济于事。

Answer 1

您的输入文件可能不是 utf8 编码。 您可以在读取文件之前转换为 utf8。 那应该可以解决您的问题。

这是将 CSV 从非 utf8 编码转换为 utf8 编码的堆栈溢出链接。