轉換為Sqlite數據庫時選擇編碼

Question

我正在將 Mbox 文件轉換為 Sqlite 數據庫。 我沒有將 db 文件編碼為 utf-8。

轉換為 db 時，Python 控制台顯示以下消息：

Error binding parameter 1 - probably unsupported type.

當我在 DB Browser for SQlite 上可視化我的數據時，沒有出現特殊字符，而是出現了 � 符號。

我首先使用以下函數將 .text 文件轉換為 Mbox 文件：

def makeMBox(fIn,fOut):
    if not os.path.exists(fIn):
        return False
    if os.path.exists(fOut):
        return False

    out = open(fOut,"w")

    lineNum = 0

    # detect encoding
    readsource =  open(fIn,'rt').__next__
    #fInCodec = tokenize.detect_encoding(readsource)[0]
    fInCodec = 'UTF-8'
    
    for line in open(fIn,'rt', encoding=fInCodec, errors="replace"):
        if line.find("From ") == 0:
            if lineNum != 0:
                out.write("\n")
            lineNum +=1
            line = line.replace(" at ", "@")
        out.write(line)
        
            
    out.close()
    return True

然后，我轉換為 sqlite 數據庫：

for k in dates:

    db = sqlite_utils.Database("Courriels_Sqlite/Echanges_Discussion.db")
    mbox = mailbox.mbox("Courriels_MBox/"+k+".mbox")

    def to_insert():
        for message in mbox.values():
            Dionyversite = dict(message.items())
            Dionyversite["payload"] = message.get_payload()
            yield Dionyversite

    try:
        db["Dionyversite"].upsert_all(to_insert(), alter = True, pk = "Message-ID")
    except sql.InterfaceError as e:
        print(e)

謝謝您的幫助。

Answer 1

我找到了解決方法：

def to_insert():
        for message in mbox.values():
            Dionyversite = dict(message.items())
            Dionyversite["payload"] = message.get_payload(decode = True)
            yield Dionyversite
``