在文本中查找常用短语

Question

有没有办法用Lucene搜索常用短语？

我正在成功搜索频繁的单词：

TermStats[] ts = HighFreqTerms.getHighFreqTerms(reader, 20, fieldName, comparator);

但这带来了单个单词，我正在寻找一种搜索频繁的两个（或任意数量）单词组合的方法。

为了澄清，我不是在寻找我所知道的前两个词（例如，快速和汽车），而是寻找前两个常用词的组合。 因此，如果我的文字是“这是一辆快车，这也是一辆快车”，那么我将得出“快车”和“这是”这两个词的最高组合。

我看了这里的讨论，但是它提供了solr解决方案，并且我正在使用Lucene寻找某些东西，无论如何，相关链接都被破坏了。

编辑：在femtoRgon的注释之后，这是我的Analyzer的一些代码。 这是应在其中添加ShingleFilter地方吗？ 由于我的输出看起来像这样，所以它似乎不起作用：

ed d 
d 
d   p
 p
 p pl  
pl
pl le

我需要的是输出包含成对的完整单词。

这是我的createComponents方法：

@Override
protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
    Tokenizer source = new NGramTokenizer(Version.LUCENE_47, reader, 2, 2);     
    ShingleFilter sf = new ShingleFilter(source, 2, 2);

    TokenStreamComponents tsc = new TokenStreamComponents(source, sf);  
    return tsc;
}

EDIT2：在NGramTokenizer的注释之后，我将NGramTokenizer更改为StandardTokenizer ，现在我得到了完整的单词，但是我不需要单个单词，而只需要成对单词。

这是代码：

Tokenizer source = new StandardTokenizer(Version.LUCENE_47, reader);        
ShingleFilter sf = new ShingleFilter(source, 2, 2);

请注意2, 2根据文档，它们应生成最小字为2，最大字为2。但是实际上，它生成此输出：

and
and other
other
other airborne
airborne
airborne particles

那么，如何摆脱单个单词并获得此输出呢？

and other
other airborne
airborne particles

Answer 1

这是我完成任务的完整Analyzer类。 请注意，在femtoRgon对我的问题的出色评论之后，声明了TokenStreamComponents方法的ShingleFilter 。 只需输入您自己的字符串，指定minWords和maxWords并运行它即可。

public class RMAnalyzer extends Analyzer {

    public static String someString = "some string";
    private int minWords = 2;
    private int maxWords = 2;


    public static void main(String[] args) {
        RMAnalyzer rma = new RMAnalyzer(2, 2);
        rma.findFrequentTerms();
        rma.close();
    }


    public RMAnalyzer(int minWords, int maxWords) { 
        this.minWords = minWords;
        this.maxWords = maxWords;
    }

    public void findFrequentTerms() {
        StringReader sr = new StringReader(someString);
        try {
            TokenStream tokenStream = tokenStream("title", sr);
            OffsetAttribute offsetAttribute = tokenStream.addAttribute(OffsetAttribute.class);
            CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);
            tokenStream.reset();

            while (tokenStream.incrementToken()) {
                String term = charTermAttribute.toString();
                System.out.println(term);
            }                       
        } catch(Exception e) {
            e.printStackTrace();
        }
    }


    @Override
    protected TokenStreamComponents createComponents(String fieldName, Reader reader) {
        Tokenizer source = new StandardTokenizer(Version.LUCENE_47, reader);        
        ShingleFilter sf = new ShingleFilter(source, minWords, maxWords);
        sf.setOutputUnigrams(false); // makes it so no one word phrases out in the output.
        sf.setOutputUnigramsIfNoShingles(true); // if not enough for min, show anyway.

        TokenStreamComponents tsc = new TokenStreamComponents(source, sf);  
        return tsc;
    }
}