有谁知道一个好的快速和脏文本/语法解析器？

Question

我有一个“疯狂的lib”场景，我想要

a）确定句子中每个（或大多数）单词的词性
b）让用户选择这些单词的替代方案 - 或者用等效的单词计算替换它们

我看了斯坦福解析器，但它有点慢...任何建议？

Answer 1

使用POS标记器

如果您只是使用词性（POS）标签而不是解析树，则实际上不需要使用解析器。 相反，您可以使用独立的POS标记器。

词性标注比短语结构解析快得多 。 在Xeon E5520上， Stanford POS标签可以在3秒内标记1700个句子，而使用Stanford Parser解析相同的数据大约需要10分钟（ Cer et al.2010 ）。

还有其他POS标注器的一个相当全面的列表在这里 。

Answer 2

对于工具包方法，有NLTK工具包。 它是在Python中，所以类似的速度可能不是你想要的; 但作为一个用于教学的工具包，可以实现许多不同的方法。 IE浏览器。 即使底层语言可能不是最快的，也可能很容易实现快速解析器/标记器。