我在使用 PyCharm 上的代码时遇到问题。 我正在尝试读取 csv 文件，但出现 unicode 错误，它无法读取位置中的特定字节

Question

我的代码如下所示：我使用 PyCharm 作为我的 IDE，我使用的 csv 文件来自 MS Excess。 我已将 csv 编码为 UTF-8。 我正在尝试使用 pandas 读取文件。 当我调用 df.info() 时，我希望能够区分对象和整数这也是我没有将其更改为“latin-1”或“ISO ...”的原因

import pandas as pd  
import numpy as np  
import matplotlib.pyplot as plt  
plt.style.use('fivethirtyeight')  
cols = ['sentiment','id','date','query_string','user','text']  
df = pd.read_csv("trainingandtestdata\\training.1600000.processed.noemoticon.csv", header=None, 
names=cols, encoding='utf-8')#low_memory=False dtype='unicode' encoding='latin1'  
df.head()  
df.info()  
df.sentiment.value_counts()

我的错误如下所示：
如何修复 position xxxx 到 xxxx 中无法解码的字节？

"C:\Users\dashg\PycharmProjects\Twitter Sentiment\venv\Scripts\python.exe" 
"C:/Users/dashg/PycharmProjects/Twitter Sentiment/Reviewer.py"   
Traceback (most recent call last):   
  File "C:/Users/dashg/PycharmProjects/Twitter Sentiment/Reviewer.py", line 6, in <module>  
    df = pd.read_csv("trainingandtestdata\\training.1600000.processed.noemoticon.csv", header=None,  
names=cols, encoding='utf-8')#low_memory=False dtype='unicode' encoding='latin1'  
  File "C:\Users\dashg\PycharmProjects\Twitter Sentiment\venv\lib\site- 
packages\pandas\io\parsers.py",       line 676, in parser_f      
    return _read(filepath_or_buffer, kwds)    
  File "C:\Users\dashg\PycharmProjects\Twitter Sentiment\venv\lib\site- 
packages\pandas\io\parsers.py",       line 454, in _read   
    data = parser.read(nrows)   
  File "C:\Users\dashg\PycharmProjects\Twitter Sentiment\venv\lib\site- 
packages\pandas\io\parsers.py",  
line 1133, in read  
    ret = self._engine.read(nrows)  
  File "C:\Users\dashg\PycharmProjects\Twitter Sentiment\venv\lib\site- 
packages\pandas\io\parsers.py",   line 2037, in read  
    data = self._reader.read(nrows)  
  File "pandas\_libs\parsers.pyx", line 860, in pandas._libs.parsers.TextReader.read  
  File "pandas\_libs\parsers.pyx", line 875, in pandas._libs.parsers.TextReader._read_low_memory  
  File "pandas\_libs\parsers.pyx", line 929, in pandas._libs.parsers.TextReader._read_rows  
  File "pandas\_libs\parsers.pyx", line 916, in pandas._libs.parsers.TextReader._tokenize_rows  
  File "pandas\_libs\parsers.pyx", line 2063, in pandas._libs.parsers.raise_parser_error      
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 51845-51846: invalid continuation 
byte

Process finished with exit code 1

Answer 1

当您在read_csv方法中使用encoding='utf-8'时，您的文件没有utf-8编码格式。 使用其他编码方法来帮助您解决问题，例如'latin'或'ISO-8859-1' 。 我向您推荐此链接以寻求帮助。

最坏的情况，如果这些都不起作用，您可以在'rb'模式下读取文件（ open(file, 'rb') ）并通过使用 csv 分隔符拆分每一行数据来自己解析它！

Answer 2

我遇到了同样的问题，但就我而言，解决方案非常简单。 My ide is PyCharm 2020.1 and the.csv have the iso-8859-1 encoding, I've tried everything without luck, so I decided to check my ide config. 我去了：

1. 文件
2. 设置
3. 左栏：编辑
4. 在编辑器中：文件编码然后我添加 my.csv 文件和右侧的按钮：+，最后更改 ide 的配置。 将其全部更改为 iso，因为默认情况下位于 utf-8 并使用确切的字符来处理文件，在我的情况下是：？。 希望这个作品

Answer 3

最好将 csv 保存到 xlsx 中并读取为

pd.read_excel