AWS Elasticsearch批量插入延迟急剧增加
[英]AWS Elasticsearch Bulk Insert Latency Increased drastically
问题描述
我在t2.small节点和10gb EBS卷上使用AWS Elasticsearch。 每隔5分钟，我会索引约5000个文档*。 对于每个文档，我都手动传递唯一ID。 由于大多数文档都已更新，因此对于几乎所有文档而言，版本都可能是2或3 。
还值得一提的是，每天我都会执行delete_by_query操作来删除超过一周的文档。
通常，批量插入的等待时间小于1秒。 但是今天突然间，经过短短几个小时的两周测试，延迟延长到3分钟，以便批量插入5000个文档 。
我正在使用elasticsearch-py和awsauth。
我检查了AWS Cluster运行状况统计信息。 自从出现了大容量插入延迟问题以来，旧垃圾回收时间似乎急剧增加。 似乎这些之间可能存在关联。
该如何处理？ 是因为维护文档的多个版本还是使用查询删除功能？
1 个解决方案
解决方案1
1 2019-09-04 23:58:02
这并不特别令人惊讶，但是仅由于变量太多，很难为您提供完整的答案。 要考虑的一些事情：
- 为文档重新索引非常昂贵，因为它首先涉及删除
- 随着索引变大，执行段合并的开销也会增加
- 随着索引变大，维护文档值和全局序号变得越来越昂贵
- 您正在可爆t2实例上运行，因此可能会用光CPU或IO积分
- 您不会提及进行优化/强制合并，如果您有很多已删除/过时的文档，这可能会有所帮助
在 Elasticsearch 中插入多个文档 - 批量文档格式化程序
[英]Insert multiple documents in Elasticsearch - bulk doc formatter
如何在 Elasticsearch 中批量插入忽略过程中可能发生的所有错误？
[英]How to bulk Insert in Elasticsearch ignoring all errors that may occur in the process?
如何将已创建的json格式字符串插入Elasticsearch Bulk
[英]How to insert an already created json-format string to Elasticsearch Bulk
将 JSON 数组插入 Elasticsearch 使用 Python 批量 API
[英]Insert JSON Array into Elasticsearch Using Python Bulk API
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Elasticsearch批量插入失败时回滚
在Amazon Elasticsearch Service上建立索引 - 批量插入
在python的Elasticsearch中批量插入时出现连接错误
在 Elasticsearch 中插入多个文档 - 批量文档格式化程序
如何在 Elasticsearch 中批量插入忽略过程中可能发生的所有错误？
如何将已创建的json格式字符串插入Elasticsearch Bulk
Elasticsearch 散装插入带 Python - 套接字超时错误
将 JSON 数组插入 Elasticsearch 使用 Python 批量 API
使用Python的Elasticsearch批量响应
在 Python 中使用 Elasticsearch 进行批量更新
相关标签