从 gensim 导入 Lemmatization 的问题

Question

我正在尝试使用 Gensim 包，如下所示：

import re, numpy as np, pandas as pd
from pprint import pprint

# Gensim
import gensim, spacy, logging, warnings
import gensim.corpora as corpora
from gensim.utils import lemmatize, simple_preprocess
from gensim.models import CoherenceModel
import matplotlib.pyplot as plt

但我不断收到错误：

ImportError: cannot import name 'lemmatize' from 'gensim.utils' (/Users/xxx/opt/anaconda3/envs/virt_env/lib/python3.9/site-packages/gensim/utils.py)

我正在使用 gensim v4.0.1、Python 3.8、numpy 1.20.0。

最近有人遇到过这种问题吗？ 谢谢

Answer 1

Gensim 以前只包装过另一个库（ Pattern ）的词形还原例程——这不是一个特别现代/维护的选项，因此从 Gensim-4.0 中删除。

用户应在应用 Gensim 算法之前选择并应用他们自己的词形还原操作（如果有）作为预处理步骤。 一些提供词形还原的 Python 库包括：

• 模式（Gensim 之前包含的选项）： https://github.com/clips/pattern
• NLTK： https://www.nltk.org/api/nltk.stem.html#nltk.stem.wordnet.WordNetLemmatizer
• UDPipe： https://ufal.mff.cuni.cz/udpipe
• 斯派西：https://spacy.io/api/lemmatizer
• 节： https://stanfordnlp.github.io/stanza/