我应该在这种情况下使用Spacy命名实体识别吗？ [关闭]

Question

我有一组名称，一组固定的名称，最多可以扩展到50,000个名称。

“约翰”，“迈克”，“乔什”，“彼得”，“卡尔”。

我有一个文件，这个文件是动态的。 我需要查找此文档是否具有预定义的名称？

在spacy nlp中将所有内容都定义为实体是正确的方法吗？

Answer 1

在spacy nlp中将所有内容都定义为实体是正确的方法吗？

不能。NER不是基于带有标签的庞大值集，而是基于包含值，标签和值位置的文本样本的数据集。 通常，然后在整个数据集上训练机器学习模型，找到可以帮助标记文档中名称的概括。

因此，您不能仅添加这些名称来训练NER。 您必须提供上下文。

您可以尝试使用以下简单管道（考虑这些名称有些普遍）：

1. 将名称加载到设置的数据结构中。
2. 使用您选择的NLP库逐句分析文档。
3. 对于每个句子，请在其中找到“人”类型的“命名实体”。
4. 检查每个人是否都在名字集中。

Answer 2

我了解您的目的是在文档中查找已知名称（从列表中）。

似乎命名实体识别可能对您没有用。

相反，可以使用Flashtext（ https://github.com/vi3k6i5/flashtext ）来解决此问题。