Python文字编码

Question

我在文件Recuérdame中找到了这段文字（注意这是一个法语单词）。 当我使用python脚本读取该文件时，得到的文本为Recuérdame 。

我将其读取为unicode字符串。 我是否需要查找文本的编码并对此进行解码？ 还是我的终端在欺骗我？

Answer 1

是的，您需要知道文本文件的编码才能变成一个unicode字符串（来自组成文件的字节）。

例如，如果您知道编码为UTF-8：

with open('foo.txt', 'rb') as f:
    contents = f.read().decode('utf-8-sig')   # -sig takes care of BOM if present

但是，文件中的文本似乎未编码为Unicode。 重音字符显然是作为XML实体存储的，必须手动进行转换 （链接的帽子提示为jleedev）。

Answer 2

它不是 Unicode字符串。 它是任何编码形式的字符串。因此，它是UTF-8或Latin-1或其他字符串。 在这种情况下， &#xE9是专门表示é的HTML / XML实体。 它是HTML和XML中使用的一种编码，用于编码非ascii数据。

要将其解码为Unicode，请查看Fredrik Lundhs方法： http ://effbot.org/zone/re-sub.htm#unescape-html

Answer 3

使用xlrd时，我在一行... xl_data.find（str（cell_value））...中给出了错误：“'ascii'编解码器无法在位置3编码字符u'\\ xdf'：序号不是范围（128）”。 论坛上的所有建议对我的德语单词都毫无用处。 但是更改为：... xl_data.find（cell.value）...没有错误。 因此，我想在xldr的某些命令中将字符串用作参数有特定的编码问题。

Answer 4

这种构造称为“实体”的是HTML。 您可以使用

def entity_decode(match):
    _, is_hex, entity = match.groups()
    base = 16 if is_hex else 10
    return unichr(int(entity, base))

print re.sub("(?i)(&#(x?)([^;]+);)", 
       entity_decode,
       "Recurdame")

解码所有种族。

编辑：是的，他们当然不是latin1，现在它应该适用于所有实体