NLTK3 UnicodeDecode 错误

Question

我无法执行以下几行，错误是

"UnicodeDecodeError: 'ascii' codec can't decode byte 0xcb in position 0: ordinal not in range(128)"

文件“D:\\Py 64\\anaconda\\lib\\site-packages\\nltk\\tag__init__.py”，第 100 行，在 pos_tag tagger = load(_POS_TAGGER)

文件“D:\\Py 64\\anaconda\\lib\\site-packages\\nltk\\data.py”，第779行，在load resource_val = pickle.load(opened_resource, encoding='iso-8859-1')

我的错误不仅出现在 data.py 中，还出现在init .py 中。

注： -我在data.py改变了代码，行779所提到这里

---

text = word_tokenize("They refuse to permit us to obtain the refuse permit")

nltk.pos_tag(text)

Answer 1

我相信使用 nltk 3.0.3 和最新的maxent_treebank_pos_tagger模型可以解决此问题。

要安装 nltk，请使用

pip install -U nltk

确保您调用的 pip 适用于 Python3 。

安装 nltk 后，打开 Python3 解释器，输入：

>>> import nltk
>>> nltk.download()

并使用 GUI 安装maxent_treebank_pos_tagger 。 它位于models选项卡下：

models > maxent_treebank_pos_tagger