Python：如何解析字符串中的非ASCII字符

Question

在我的Python脚本中，我试图读取一个文本文件，其中包含带有人名和姓的列，其中一些列有非ASCII字符，如ñ 。 但是当我这样做时，我得到错误UnicodeDecodeError: 'utf8' codec can't decode byte 0x96 in position 66 。

从我在网上阅读的内容来看，我知道你可以通过忽略或删除非ASCII字符来处理这个问题，但我不想这样做。 是否有直接的方法将文件中的所有非ASCII字符转换为普通字符串？

目前，我正在使用infile = open(filename, 'rU')打开我的文件。

不重复的问题 ：我问的是如何读取带有unicode字符的文件，而不是如何将unicode字符串写入文件。

Answer 1

1. 制作文件的副本。
2. 确保您的文件是unicode，并找出它使用的unicode格式。 像geany这样的简单编辑器可以帮助您找到在创建文件时使用的正确编码。 拆分文件，如果它很大并由编辑处理它的一部分。
3. 使用正确的编码（可能是旧的cp编码）打开文件并将文件转换为utf8。 或者使用工具（如编辑器）将其转换为utf8