AWS Elasticsearch批量插入延遲急劇增加

Question

我在t2.small節點和10gb EBS卷上使用AWS Elasticsearch。 每隔5分鍾，我會索引約5000個文檔*。 對於每個文檔，我都手動傳遞唯一​​ID。 由於大多數文檔都已更新，因此對於幾乎所有文檔而言，版本都可能是2或3 。

還值得一提的是，每天我都會執行delete_by_query操作來刪除超過一周的文檔。

通常，批量插入的等待時間小於1秒。 但是今天突然間，經過短短幾個小時的兩周測試，延遲延長到3分鍾，以便批量插入5000個文檔 。

我正在使用elasticsearch-py和awsauth。

我檢查了AWS Cluster運行狀況統計信息。 自從出現了大容量插入延遲問題以來，舊垃圾回收時間似乎急劇增加。 似乎這些之間可能存在關聯。

該如何處理？ 是因為維護文檔的多個版本還是使用查詢刪除功能？

Answer 1

這並不特別令人驚訝，但是僅由於變量太多，很難為您提供完整的答案。 要考慮的一些事情：

1. 為文檔重新索引非常昂貴，因為它首先涉及刪除
2. 隨着索引變大，執行段合並的開銷也會增加
3. 隨着索引變大，維護文檔值和全局序號變得越來越昂貴
4. 您正在可爆t2實例上運行，因此可能會用光CPU或IO積分
5. 您不會提及進行優化/強制合並，如果您有很多已刪除/過時的文檔，這可能會有所幫助