CRFClassifier无法识别句子拆分器选项

Question

我正在使用CoreNLP在多行英文文本中注释网元。 当执行以下操作时：

Properties props = new Properties();
props.put("annotators", "tokenize, ssplit, pos, lemma, ner");
props.put("ssplit.newlineIsSentenceBreak", "always");
StanfordCoreNLP pipeline = new StanfordCoreNLP(props);
String contentStr = "John speaks with Martin\n\nJeremy talks to him too.";
Annotation document 
= new  Annotation(contentStr);
pipeline.annotate(document);
List<CoreMap> sents = document.get(SentencesAnnotation.class);
for (int i = 0; i < sents.size(); i++) {
    System.out.println("sentence " + i + " "+ sents.get(i));
}

句子拆分效果很好，可以识别两个句子。 但是，当我按如下方式使用NER分类时：

CRFClassifier classifier = CRFClassifier.getClassifier("edu/stanford/nlp/models/ner/english.all.3class.distsim.crf.ser.gz", props);
String classifiedStr = classifier.classifyWithInlineXML(contentStr);

我收到以下错误消息：

Unknown property: |ssplit.newlineIsSentenceBreak|  Unknown property: |annotators|

而分类器似乎将所有文本视为一个句子，从而导致对实体“马丁·杰里米”（而不是两个不同的实体）的错误识别。

知道有什么问题吗？

Answer 1

CRFClassifier.getClassifier所采用的属性与StanfordCoreNLP构造函数所采用的属性不同，这就是为什么您会收到该选项未知的错误的原因。

它会被设置，但不会在运行时使用。

从这里 ，您将发现需要设置SeqClassifierFlags的属性。 您需要设置tokenizerOptions ，并将选项设置为"tokenizeNLs = true" ，它将新行视为令牌。

最重要的是，在获取分类器之前，按如下所示设置属性。 它不应给您带来未知属性的错误，并且应可以按预期运行。

Properties props = new Properties();
props.put("tokenizerOptions", "tokenizeNLs=true");

CRFClassifier classifier = CRFClassifier.getClassifier("edu/stanford/nlp/models/ner/english.all.3class.distsim.crf.ser.gz", props);
String classifiedStr = classifier.classifyWithInlineXML(contentStr);