如何减少Elasticsearch滚动响应时间？

Question

我有一个查询，该查询从分布在整个集群中的7个不同的索引返回〜200K次匹配。 我将结果处理为：

while (true) {
    scrollResp = client.prepareSearchScroll(scrollResp.getScrollId()).setScroll(new TimeValue(600000)).execute().actionGet();

    for (SearchHit hit : scrollResp.getHits()){
            //process hit}

    //Break condition: No hits are returned
    if (scrollResp.hits().hits().length == 0) {
        break;
    }
}

我注意到，client.prepareSearchScroll行在返回下一组搜索结果之前可能会挂起一段时间。 我为代码运行的时间越长，这种情况似乎越糟。

我的搜索设置是：

SearchRequestBuilder searchBuilder = client.prepareSearch( index_names )
    .setSearchType(SearchType.SCAN)
    .setScroll(new TimeValue(60000)) //TimeValue?
    .setQuery( qb )
    .setFrom(0) //?
    .setSize(5000); //number of jsons to get in each search, what should it be? I have no idea.
    SearchResponse scrollResp = searchBuilder.execute().actionGet();

在检查许多结果时，是否期望扫描和滚动仅花费很长时间？ 我是Elastic Search的新手，所以请记住，我可能会遗漏一些非常明显的东西。

我的查询：

QueryBuilder qb = QueryBuilders.boolQuery().must(QueryBuilders.termsQuery("tweet", interesting_words));

Answer 1

.setSize(5000)意味着每个client.prepareSearchScroll调用将为每个分片检索5000条记录。 您正在请求后台，如果您的记录很大，则在内存中组合5000条记录可能需要一段时间。 我建议尝试较小的数字。 尝试100和10，看看您是否获得了更好的性能。

.setFrom(0)是不必要的。

Answer 2

我将在此处添加另一个答案，因为我对此行为感到非常困惑，并且花了我很长时间才能在@AaronM的评论中找到答案

这适用于使用Java API的ES 1.7.2。

我正在滚动/扫描500m条记录的索引，但是查询返回了大约40万行。

我以1,000的滚动大小开始，这在网络与CPU方面似乎是一个合理的权衡。

该查询的运行非常缓慢，大约需要30分钟才能完成，并且两次从游标之间的获取之间都有很长的暂停时间。

我担心这可能只是我正在运行的查询，并且不相信减小滚动大小会有所帮助，因为1000看起来很小。

但是，看到上面AaronM的评论，我尝试了10的滚动大小。

整个工作在30秒内完成（这就是我是否重启了ES，因此大概与缓存无关）-大约提高了60倍！！！

因此，如果您在滚动/扫描时遇到性能问题，强烈建议您尝试减小滚动大小。 我在互联网上找不到太多有关此内容的信息，因此请在此处发布。

Answer 3

• 查询数据节点不是客户端节点还是主节点
• 使用filter_path属性选择所需的字段
• 根据文档大小设置滚动大小，没有神奇的规则，必须设置值并尝试，依此类推
• 监控您的网络带宽
• 如果这还不够，让我们继续一些多线程的工作：

认为elasticsearch索引由多个分片组成。 这种设计意味着您可以并行化操作。

假设您的索引具有3个分片，而群集具有3个节点（按惯例，具有比分片更多的节点的优良作法）。

您可以在单独的线程中运行3个Java“工作者”，这将搜索滚动不同的分片和节点，并使用队列将结果“集中”。

这样，您将拥有良好的表现！

这就是elasticsearch-hadoop库的功能。

要检索有关索引的分片/节点详细信息，请使用https://www.elastic.co/guide/zh-CN/elasticsearch/reference/current/search-shards.html API。

Answer 4

您可以在这里阅读文件

SearchScrollRequestBuilder ！

我认为Timevalue是时候保持动态滚动

setScroll(TimeValue keepAlive)

如果设置，将启用在指定超时时间内滚动搜索请求。

你可以在这里阅读更多 ：

卷动