读取UTF-8文件返回意外的字符

Question

运行Windows 8 64位。 我有一个文件，用于存储一些数据，使用Windows记事本以UTF-8编码保存。 假设这是文件的内容：

1，一些，数据，这里，0，-1

我正在这样阅读：

f = open("file.txt", "rb")
f.read()
f.close()

而f.read()返回此：

u“ \\ xef \\ xbb \\ xbf1，一些，数据，这里，0，-1”

我只能使用f.read()[3:]但这不是一个干净的解决方案。

文件开头的字符是什么？

Answer 1

前三个字节是UTF-8 BOM或字节顺序标记。 UTF-8 不需要 BOM（与UTF-16和UTF-32不同，它具有固定的字节顺序），但是无论如何，许多工具（大多数是Microsoft的）都添加了BOM，以帮助进行文件编码检测。

您可以测试并安全地跳过它，请使用codecs.BOM_UTF8进行处理：

import codecs

data = f.read()
if data.startswith(codecs.BOM_UTF8):
    data = data[3:]

您还可以使用io.open()函数打开文件，并让Python将文件解码为Unicode，并告诉它使用utf_8_sig编解码器：

import io

with io.open('file.txt', encoding='utf_8_sig'):
    data = f.read()

Answer 2

这就是BOM（字节顺序标记）。
实际上，UTF-8只有一个有效字节顺序，
但是尽管如此，还是可以有3个字节的序列
在文件的开头（一般是数据）。

->如果前三个字节恰好有这些值，请忽略它们。