Elasticsearch緩慢的搜索查詢性能

Question

我在調整Elasticsearch以獲得較高的搜索查詢性能時遇到很多問題。 這些是我的規格：

ES設置：版本：0.90.0，群集中有2個節點（m3.2x大aws實例），每個節點32GB RAM，50％分配給ES_HEAP_SIZE，無交換

資料：75MM文件，每個25欄

針對基准的查詢：針對5個文本字段的多重匹配查詢

我已經嘗試過這里和這里提到的一切

輸入查詢頻率高達30個請求/秒，響應時間保持小於1s。 超過30+請求/秒，性能驟降，響應時間增加到50s。 發生這種情況時，JVM Heap穩定（在bigdesk中約為7-8），GC也穩定。 但是，CPU迅速增加並達到800％（8核），平均負載非常高16。熱線程不斷在搜索和評分函數（例如BooleanScorer2.nextDoc，BooleanQuery.createWeight，DisjunctionSumScorer.advance，BufferedIndexInput.refill）之間進行切換。這樣的

問題：您能否幫助我找出為什么性能在30 req / sec之后下降的原因，以及如何通過更改集群配置來解決此問題。

提前致謝！

Answer 1

我知道您看到的是CPU受限的行為，但是當您開始遇到性能問題時，是否看到I / O峰值？

如果您將索引存儲在EBS卷上，那么使用類似您的測試開始看到I / O飽和將不會感到驚訝。 M3實例具有快速的本地（臨時）SSD卷，並且如果要調整響應速度，則應確保索引存儲在本地。

https://www.elastic.co/blog/performance-considerations-elasticsearch-indexing

我意識到這並不能直接解決CPU問題，但是您可以采取任何措施使單個查詢的響應速度更快（包括過濾/等），這將提高您的吞吐量。