![](/img/trans.png)
[英]UTF-8 HTML and CSS files with BOM (and how to remove the BOM with Python)
[英]Convert UTF-8 with BOM to UTF-8 with no BOM in Python
这里有两个问题。 我有一组文件,通常是带有 BOM 的 UTF-8。 我想将它们(理想情况下)转换为没有 BOM 的 UTF-8。 似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)
会处理这个问题。 但我真的没有看到任何关于使用的好例子。 这是处理这个问题的最好方法吗?
source files:
Tue Jan 17$ file brh-m-157.json
brh-m-157.json: UTF-8 Unicode (with BOM) text
此外,如果我们可以在不明确知道的情况下处理不同的输入编码(参见 ASCII 和 UTF-16),那将是理想的。 看来这一切都应该是可行的。 有没有一种解决方案可以采用任何已知的 Python 编码和 output 作为 UTF-8 而没有 BOM?
从下面编辑 1建议的 sol'n(谢谢!)
fp = open('brh-m-157.json','rw')
s = fp.read()
u = s.decode('utf-8-sig')
s = u.encode('utf-8')
print fp.encoding
fp.write(s)
这给了我以下错误:
IOError: [Errno 9] Bad file descriptor
我在评论中被告知错误是我使用模式'rw'而不是'r+'/'r+b'打开文件,所以我最终应该重新编辑我的问题并删除已解决的部分。
只需使用“utf-8-sig”编解码器 :
fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")
这为您提供了没有BOM的unicode
字符串。 然后你可以使用
s = u.encode("utf-8")
在s
获取正常的UTF-8编码字符串。 如果您的文件很大,那么您应该避免将它们全部读入内存。 BOM只是文件开头的三个字节,因此您可以使用此代码将它们从文件中删除:
import os, sys, codecs
BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)
path = sys.argv[1]
with open(path, "r+b") as fp:
chunk = fp.read(BUFSIZE)
if chunk.startswith(codecs.BOM_UTF8):
i = 0
chunk = chunk[BOMLEN:]
while chunk:
fp.seek(i)
fp.write(chunk)
i += len(chunk)
fp.seek(BOMLEN, os.SEEK_CUR)
chunk = fp.read(BUFSIZE)
fp.seek(-BOMLEN, os.SEEK_CUR)
fp.truncate()
它打开文件,读取一个块,并将其写入文件,比它读取的位置早3个字节。 该文件就地重写。 更简单的解决方案是将较短的文件写入新文件,如newtover的答案 。 这会更简单,但在短时间内使用两倍的磁盘空间。
至于猜测编码,那么你可以从大多数到最不具体的循环编码:
def decode(s):
for encoding in "utf-8-sig", "utf-16":
try:
return s.decode(encoding)
except UnicodeDecodeError:
continue
return s.decode("latin-1") # will always work
UTF-16编码的文件不能解码为UTF-8,因此我们首先尝试使用UTF-8。 如果失败,那么我们尝试使用UTF-16。 最后,我们使用Latin-1 - 这将始终有效,因为所有256个字节都是Latin-1中的合法值。 在这种情况下,你可能想要返回None
,因为它确实是一个后备,你的代码可能想要更仔细地处理它(如果可以的话)。
在Python 3中,它非常简单:读取文件并使用utf-8
编码重写它:
s = open(bom_file, mode='r', encoding='utf-8-sig').read()
open(bom_file, mode='w', encoding='utf-8').write(s)
import codecs
import shutil
import sys
s = sys.stdin.read(3)
if s != codecs.BOM_UTF8:
sys.stdout.write(s)
shutil.copyfileobj(sys.stdin, sys.stdout)
这是我的实现,将任何类型的编码转换为没有BOM的UTF-8,并用通用格式替换windows enlines:
def utf8_converter(file_path, universal_endline=True):
'''
Convert any type of file to UTF-8 without BOM
and using universal endline by default.
Parameters
----------
file_path : string, file path.
universal_endline : boolean (True),
by default convert endlines to universal format.
'''
# Fix file path
file_path = os.path.realpath(os.path.expanduser(file_path))
# Read from file
file_open = open(file_path)
raw = file_open.read()
file_open.close()
# Decode
raw = raw.decode(chardet.detect(raw)['encoding'])
# Remove windows end line
if universal_endline:
raw = raw.replace('\r\n', '\n')
# Encode to UTF-8
raw = raw.encode('utf8')
# Remove BOM
if raw.startswith(codecs.BOM_UTF8):
raw = raw.replace(codecs.BOM_UTF8, '', 1)
# Write to file
file_open = open(file_path, 'w')
file_open.write(raw)
file_open.close()
return 0
您可以使用编解码器。
import codecs
with open("test.txt",'r') as filehandle:
content = filehandle.read()
if content[:3] == codecs.BOM_UTF8:
content = content[3:]
print content.decode("utf-8")
我发现这个问题是因为在使用UTF8 BOM头打开文件时遇到configparser.ConfigParser().read(fp)
。
对于那些正在寻找删除标题的解决方案的人,以便ConfigPhaser可以打开配置文件而不是报告错误: File contains no section headers
,请打开如下文件:
configparser.ConfigParser().read(config_file_path, encoding="utf-8-sig")
通过不必删除文件的BOM头,这可以节省大量的工作。
(我知道这听起来不相关,但希望这可以帮助人们像我一样挣扎。)
在 python3 中,您应该添加encoding='utf-8-sig'
:
with open(file_name, mode='a', encoding='utf-8-sig') as csvfile:
csvfile.writelines(rows)
而已。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.