如何在TERRIER信息检索系统中使用任何统计词干（例如YASS或GRAS）代替Porter词干

Question

Terrier IR系统默认使用Porter Stemmer。 如何在Terrier中使用统计词干输出？ 我已经使用统计词干生成了词干列表，并希望将其嵌入TERRIER IR。

Answer 1

您必须创建一个将StemmerTermPipeline扩展到org.terrier.terms包中的类。

例如：

公共类StatisticsStemmer扩展了StemmerTermPipeline {

public StatisticalStemmer(TermPipeline next) {
    super(next);
}

@Override
public String stem(String word) {
   // your method implementation
}

}

之后，您需要重新编译核心组件并替换lib目录中的terrier-4.0-core.jar文件。

最后，您需要在属性文件中更新术语管道：

termpipelines =停用词，StatisticalStemmer

这样，Terrier将使用您的词梗代替PorterStemmer。