將帶 BOM 的 UTF-8 轉換為 Python 中沒有 BOM 的 UTF-8

Question

這里有兩個問題。 我有一組文件，通常是帶有 BOM 的 UTF-8。 我想將它們（理想情況下）轉換為沒有 BOM 的 UTF-8。 似乎codecs.StreamRecoder(stream, encode, decode, Reader, Writer, errors)會處理這個問題。 但我真的沒有看到任何關於使用的好例子。 這是處理這個問題的最好方法嗎？

source files:
Tue Jan 17$ file brh-m-157.json 
brh-m-157.json: UTF-8 Unicode (with BOM) text

此外，如果我們可以在不明確知道的情況下處理不同的輸入編碼（參見 ASCII 和 UTF-16），那將是理想的。 看來這一切都應該是可行的。 有沒有一種解決方案可以采用任何已知的 Python 編碼和 output 作為 UTF-8 而沒有 BOM？

從下面編輯 1建議的 sol'n（謝謝！）

fp = open('brh-m-157.json','rw')
s = fp.read()
u = s.decode('utf-8-sig')
s = u.encode('utf-8')
print fp.encoding  
fp.write(s)

這給了我以下錯誤：

IOError: [Errno 9] Bad file descriptor

快訊

我在評論中被告知錯誤是我使用模式'rw'而不是'r+'/'r+b'打開文件，所以我最終應該重新編輯我的問題並刪除已解決的部分。

Answer 1

只需使用“utf-8-sig”編解碼器 ：

fp = open("file.txt")
s = fp.read()
u = s.decode("utf-8-sig")

這為您提供了沒有BOM的unicode字符串。 然后你可以使用

s = u.encode("utf-8")

在s獲取正常的UTF-8編碼字符串。 如果您的文件很大，那么您應該避免將它們全部讀入內存。 BOM只是文件開頭的三個字節，因此您可以使用此代碼將它們從文件中刪除：

import os, sys, codecs

BUFSIZE = 4096
BOMLEN = len(codecs.BOM_UTF8)

path = sys.argv[1]
with open(path, "r+b") as fp:
    chunk = fp.read(BUFSIZE)
    if chunk.startswith(codecs.BOM_UTF8):
        i = 0
        chunk = chunk[BOMLEN:]
        while chunk:
            fp.seek(i)
            fp.write(chunk)
            i += len(chunk)
            fp.seek(BOMLEN, os.SEEK_CUR)
            chunk = fp.read(BUFSIZE)
        fp.seek(-BOMLEN, os.SEEK_CUR)
        fp.truncate()

它打開文件，讀取一個塊，並將其寫入文件，比它讀取的位置早3個字節。 該文件就地重寫。 更簡單的解決方案是將較短的文件寫入新文件，如newtover的答案 。 這會更簡單，但在短時間內使用兩倍的磁盤空間。

至於猜測編碼，那么你可以從大多數到最不具體的循環編碼：

def decode(s):
    for encoding in "utf-8-sig", "utf-16":
        try:
            return s.decode(encoding)
        except UnicodeDecodeError:
            continue
    return s.decode("latin-1") # will always work

UTF-16編碼的文件不能解碼為UTF-8，因此我們首先嘗試使用UTF-8。 如果失敗，那么我們嘗試使用UTF-16。 最后，我們使用Latin-1 - 這將始終有效，因為所有256個字節都是Latin-1中的合法值。 在這種情況下，你可能想要返回None ，因為它確實是一個后備，你的代碼可能想要更仔細地處理它（如果可以的話）。

Answer 2

在Python 3中，它非常簡單：讀取文件並使用utf-8編碼重寫它：

s = open(bom_file, mode='r', encoding='utf-8-sig').read()
open(bom_file, mode='w', encoding='utf-8').write(s)

Answer 3

import codecs
import shutil
import sys

s = sys.stdin.read(3)
if s != codecs.BOM_UTF8:
    sys.stdout.write(s)

shutil.copyfileobj(sys.stdin, sys.stdout)

Answer 4

這是我的實現，將任何類型的編碼轉換為沒有BOM的UTF-8，並用通用格式替換windows enlines：

def utf8_converter(file_path, universal_endline=True):
    '''
    Convert any type of file to UTF-8 without BOM
    and using universal endline by default.

    Parameters
    ----------
    file_path : string, file path.
    universal_endline : boolean (True),
                        by default convert endlines to universal format.
    '''

    # Fix file path
    file_path = os.path.realpath(os.path.expanduser(file_path))

    # Read from file
    file_open = open(file_path)
    raw = file_open.read()
    file_open.close()

    # Decode
    raw = raw.decode(chardet.detect(raw)['encoding'])
    # Remove windows end line
    if universal_endline:
        raw = raw.replace('\r\n', '\n')
    # Encode to UTF-8
    raw = raw.encode('utf8')
    # Remove BOM
    if raw.startswith(codecs.BOM_UTF8):
        raw = raw.replace(codecs.BOM_UTF8, '', 1)

    # Write to file
    file_open = open(file_path, 'w')
    file_open.write(raw)
    file_open.close()
    return 0

Answer 5

您可以使用編解碼器。

import codecs
with open("test.txt",'r') as filehandle:
    content = filehandle.read()
if content[:3] == codecs.BOM_UTF8:
    content = content[3:]
print content.decode("utf-8")

Answer 6

我發現這個問題是因為在使用UTF8 BOM頭打開文件時遇到configparser.ConfigParser().read(fp) 。

對於那些正在尋找刪除標題的解決方案的人，以便ConfigPhaser可以打開配置文件而不是報告錯誤： File contains no section headers ，請打開如下文件：

configparser.ConfigParser().read(config_file_path, encoding="utf-8-sig")

通過不必刪除文件的BOM頭，這可以節省大量的工作。

（我知道這聽起來不相關，但希望這可以幫助人們像我一樣掙扎。）

Answer 7

在 python3 中，您應該添加encoding='utf-8-sig' ：

with open(file_name, mode='a', encoding='utf-8-sig') as csvfile:
    csvfile.writelines(rows)

而已。