构面（自动完成）内存不足

Question

由于OutOfMemory错误，我们的solr有时会崩溃。 我们暂不支持4.0.0版本，但计划在解决以下问题后迁移到最新版本。

当我查看tomcat日志时，看到以下错误：

SEVERE: null:java.lang.RuntimeException: java.lang.OutOfMemoryError: Java heap space
    at org.apache.solr.servlet.SolrDispatchFilter.sendError(SolrDispatchFilter.java:469)
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:297)
    at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235)
    at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206)
    at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:233)
    at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:191)
    at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127)
    at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:102)
    at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109)
    at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:293)
    at org.apache.coyote.http11.Http11Processor.process(Http11Processor.java:859)
    at org.apache.coyote.http11.Http11Protocol$Http11ConnectionHandler.process(Http11Protocol.java:602)
    at org.apache.tomcat.util.net.JIoEndpoint$Worker.run(JIoEndpoint.java:489)
    at java.lang.Thread.run(Thread.java:744)
Caused by: java.lang.OutOfMemoryError: Java heap space
    at org.apache.lucene.search.FieldComparator$TermOrdValComparator.<init>(FieldComparator.java:1124)
    at org.apache.lucene.search.SortField.getComparator(SortField.java:425)
    at org.apache.lucene.search.FieldValueHitQueue$MultiComparatorsFieldValueHitQueue.<init>(FieldValueHitQueue.java:110)
    at org.apache.lucene.search.FieldValueHitQueue.create(FieldValueHitQueue.java:173)
    at org.apache.lucene.search.TopFieldCollector.create(TopFieldCollector.java:1123)
    at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:552)
    at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:507)
    at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:484)
    at org.apache.lucene.search.IndexSearcher.search(IndexSearcher.java:309)
    at si.amebis.termania.solr.ExternalSearch.search(ExternalSearch.java:307)
    at si.amebis.termania.solr.ExternalSearch.handleRequestBody(ExternalSearch.java:235)
    at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:129)
    at org.apache.solr.core.SolrCore.execute(SolrCore.java:1699)
    at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:455)
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:276)
    ... 12 more

在请求自动完成字段之后（在您键入时建议）。 请求详细信息如下：

q - *:*
start - 0
rows - 0
fq - (Type:1 OR Type:2)
facet - true
facet.limit - 20
facet.mincount - 1
facet.sort - true
facet.prefix - "mi"
facet.field - "Autocomplete"
-- 
which returns 8105170 hits

其中“自动完成”字段定义为：

<field name="Autocomplete" type="grams" indexed="true" stored="false" omitNorms="true" required="False" multiValued="true" />
    <fieldtype name="grams" class="solr.TextField" positionIncrementGap="100">
      <analyzer type="index">
        <tokenizer class="solr.StandardTokenizerFactory" />
        <filter class="solr.ShingleFilterFactory" maxShingleSize="10" outputUnigrams="true" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.TrimFilterFactory" />
      </analyzer>
      <analyzer type="query">
        <tokenizer class="solr.StandardTokenizerFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.TrimFilterFactory" />
      </analyzer>
    </fieldtype>

索引详细信息：

Num document: 4338603
Index size: 10.1 Gb
Ram: 64Gb (-Xmx45000M)
Terms count in Autocomplete field: 70.459.723

我假设在一个文本字段上使用多个方面，因此许多术语需要大量内存。

我如何计算需要多少内存，还有没有更有效的方法来提供自动完成功能（带有短语-n-gram）？

提前致谢！

Answer 1

您可以连接connect到Solr实例以检查内存在哪里吗？ 我猜想这是在FieldCache ，但是要确保确定总是好事，Solr的构面会分别对待每个字段，因此您应该能够检查该特定字段的内存消耗。 要估算方面查询的内存使用情况，您可以检查此线程（ http://lucene.472066.n3.nabble.com/Solr-using-a-ridiculous-amount-of-memory-td4050840.html ）

您说您的查询还返回了8105170次匹配，但是您的索引中只有4338603文档。 通常在文本字段中进行构图具有挑战性，因为术语的数量可能会迅速增加，特别是如果您使用带状疱疹/ ngram的话。

看看https://github.com/cominvent/autocomplete是Solr支持的自动完成功能的一个很好的起点（我已经将此作为一些项目的起点）。

根据您实现自动完成功能的方式，您还可以尝试更改facet.method （ https://cwiki.apache.org/confluence/display/solr/Faceting ）参数并检查是否有帮助。

另请参阅https://cwiki.apache.org/confluence/display/solr/Suggester 。