[英]UnicodeDecodeError when reading CSV file in Pandas with Python
[英]UnicodeDecodeError in Python 3 when importing a CSV file
我正在尝试使用以下代码导入 CSV:
import csv
import sys
def load_csv(filename):
# Open file for reading
file = open(filename, 'r')
# Read in file
return csv.reader(file, delimiter=',', quotechar='\n')
def main(argv):
csv_file = load_csv("myfile.csv")
for item in csv_file:
print(item)
if __name__ == "__main__":
main(sys.argv[1:])
这是我的 csv 文件示例:
foo,bar,test,1,2
this,wont,work,because,α
和错误:
Traceback (most recent call last):
File "test.py", line 22, in <module>
main(sys.argv[1:])
File "test.py", line 18, in main
for item in csv_file:
File "/usr/lib/python3.2/encodings/ascii.py", line 26, in decode
return codecs.ascii_decode(input, self.errors)[0]
UnicodeDecodeError: 'ascii' codec can't decode byte 0xce in position 40: ordinal not in range(128)
显然,它击中了 CSV 末尾的角色并抛出了该错误,但我不知道如何解决这个问题。 有什么帮助吗?
这是:
Python 3.2.3 (default, Apr 23 2012, 23:35:30)
[GCC 4.7.0 20120414 (prerelease)] on linux2
看来你的问题归结为:
print("α")
您可以通过指定PYTHONIOENCODING
来修复它:
$ PYTHONIOENCODING=utf-8 python3 test.py > output.txt
笔记:
$ python3 test.py
如果您的终端配置支持它,应该可以正常工作,其中test.py
:
import csv
with open('myfile.csv', newline='', encoding='utf-8') as file:
for row in csv.reader(file):
print(row)
如果open()
没有上面的encoding
参数,那么你会得到UnicodeDecodeError
和LC_ALL=C
。
同样使用LC_ALL=C
,即使没有重定向,您也会得到UnicodeEncodeError
即,在这种情况下需要PYTHONIOENCODING
(在PEP 538之前:在 Python 3.7+ 中实现的Legacy C Locale Coercion)。
从python docs ,您必须设置文件的编码。 以下是该网站的示例:
import csv
with open('some.csv', newline='', encoding='utf-8') as f:
reader = csv.reader(f)
for row in reader:
print(row)
编辑:您的问题似乎与打印有关。 尝试使用漂亮的打印机:
import csv
import pprint
with open('some.csv', newline='', encoding='utf-8') as f:
reader = csv.reader(f)
for row in reader:
pprint.pprint(row)
另一种选择是通过传递错误处理程序来掩盖错误:
with open('some.csv', newline='', errors='replace') as f:
reader = csv.reader(f)
for row in reader:
print(row)
这将用“缺失字符”替换文件中任何不可解码的字节。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.