Pandas UnicodeEncodeError: 'charmap' 編解碼器無法編碼字符

Question

使用熊貓，每次出現“特殊”字符，例如：é 時，它都會引發編碼錯誤。 這是我的代碼：

import pandas as pd


df = pd.read_csv(r'movies analysis\movie_metadata.csv',encoding='utf-8')
print(df.loc[df['title_year'] == 2015])

這是我得到的錯誤：

 File "D:\ANACONDA\lib\encodings\cp1255.py", line 19, in encode
    return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: 'charmap' codec can't encode character '\xe9' in position 645: character maps to <undefined>

關於這個主題有很多線程，但沒有一個提供對我有用的解決方案。

Answer 1

我最終做的是將所有字符“規范化”為 ascii。 這並不理想，但對我有用：

import unicodedata
unicodedata.normalize('NFD', Data_U_Want_To_Normalize).encode('ascii', 'ignore')

所以對於像é這樣的字母，它會變成e 。

Answer 2

將export LANG=zh_CN.utf8或export LANG=us_EN到您的 bashrc 或 shell 腳本中，它對我export LANG=us_EN ，我的腳本是：

import pandas as pd
pd.read_excel(f) 
# there are chinese in my file