读取文件，输出UTF-8 / Unicode

Question

我正在尝试读取文件并比较字符。 但是，当我在阅读每行后打印出以下内容时：

    with open('Q1.txt') as f:
        content = f.read().splitlines()

我收到'\\ x80'，'\\ xe2'，'\\ x9d'等。

这些是什么意思，我该如何摆脱它们？

谢谢。

Answer 1

内置的open()在Python 2.x中不处理任何文本编码。 多字节字符以原始十六进制形式出现。 您可以使用io模块来获得功能更强大的open函数，该函数提供定义编码的参数：

import io
with io.open(fname, 'r', encoding='utf-8') as f:
  ...

方便地，这在python 2.6+和3.x中都适用，因此，如果以后将代码移植到py3k，您将不会遇到神秘的编码问题。 顺便说一句，在3.x中内置的open实际上是io.open的别名。 2.6+中的向后移植版本具有完全相同的功能。 io模块旨在取代codecs模块，并进行了一些内部改进，因此最好在新代码中使用其open 。

Answer 2

从Unicode How-to文档： https : //docs.python.org/2/howto/unicode.html

import codecs
f = codecs.open('Q1.txt', encoding='utf-8')
for line in f:
    print(repr(line))

在Python 3中，只需将内置的open与上下文管理器一起使用：

with open('Q1.txt', encoding='utf-8') as f:
    for line in f:
        print(f)