调用nlp时发生Python Spacy错误：UnicodeDecodeError：'ascii'编解码器无法解码字节0xe2

Question

Python3.6：我在pandas df中的一列文字上使用Spacy。 文本中确实包含“特殊字符”，我需要保留它们。 nlp由于某种原因需要unicode。 我从下面的nlp得到一个错误：

任何帮助将不胜感激。

# -*- coding: utf-8 -*-
import spacy
nlp = spacy.load("en_core_web_sm")

df['TextCol'] = df['TextCol'].str.encode('utf-8')
def function(row):
    doc = nlp(unicode(text))

df.apply(function, axis=1)

从nlp返回：

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 

Answer 1

所以我解决了我自己的问题。 不太确定发生了什么变化，我将IDE从pycharm切换到eclipse（pydev）。 我仍在使用相同的解释器。 这是更改，看起来很标准。

# -*- coding: utf-8 -*-
import spacy
nlp = spacy.load("en_core_web_sm")

# Removed encode
# df['TextCol'] = df['TextCol'].str.encode('utf-8')
def function(row):
    # Removed unicode
    doc = nlp(text)

df.apply(function, axis=1)