如何使用spaCy在真实情况下执行NER，然后在小写情况下进行lemmatization

Question

我尝试使用带有法语模型fr_core_news_sm spaCy 2.0.12对文本进行fr_core_news_sm 。 Morevoer，我想用任意字符序列替换人物姓名，并使用token.ent_type_ == 'PER'来检测人物姓名。 示例结果将是“ Pierre aime les chiens”->“〜PER〜aimer chien”。

问题是我找不到同时做这两种方法的方法。 我只有这两个部分选项：

• 我可以用原始文本来输入管道： doc = nlp(text) 。 然后，NER将识别大多数人的名字，但是以大写字母开头的单词的词缀将是不正确的。 例如，简单问题“ Pouvons-nous faireça？”的引理。 将是['Pouvons', '-', 'se', 'faire', 'ça', '?'] ，其中“ Pouvons”仍然是变形的形式。
• 我可以使用小写文本输入管道： doc = nlp(text.lower()) 。 然后，我之前的示例将正确显示['pouvoir', '-', 'se', 'faire', 'ça', '?'] ，但是大多数人的名字都不会被NER识别为实体，因为我猜测启动资金是找到实体的有用指标。

我的想法是执行标准管道（tagger，解析器，NER），然后执行小写，然后仅在最后进行lemmatize。

但是，词形化似乎没有自己的管道组件，文档也没有说明如何执行和在何处执行。 这个答案似乎暗示着去词皮化的执行独立于任何流水线组件，并且可能在它的不同阶段进行。

所以我的问题是：如何选择何时进行词法分离以及将哪些输入提供给它？

Answer 1

如果可以，请使用最新版本的spacy。 法国lemmatizer在2.1中得到了很大的改进。

如果必须使用2.0，请考虑使用像这样的替代lemmatizer： https : //spacy.io/universe/project/spacy-lefff