每天約200G日志的Elasticsearch集群設計

Question

我創建了具有4個數據節點，3個主節點，1個客戶端節點（kibana）的ES群集（5.4.1版）。

數據節點是r4.2xlarge aws實例（61g內存，8vCPU），為ES JAVA分配了30G內存。

我們每天要寫大約200G的日志，並保留過去14天。

我正在為我們的集群尋求建議，以提高集群性能，尤其是搜索性能（菊苣）。

更多數據節點？ 更多的客戶端節點？ 更大的節點？ 更多副本？ 任何可以提高性能的選項都是可選的。

有沒有人接近這個設計或負載？ 我很高興聽到其他設計和負載。

謝謝，Moshe

Answer 1

1. 您正在使用多少個碎片？ 默認為5？ 這甚至是一個相當不錯的數字。 分片的大小取決於您的要求，分片應在10G到50G之間； 與日志記錄用例有關，而不是在50GB方面。
2. 您想加快哪些查詢？ 它們主要針對近期數據還是長時間跨度？ 如果您主要對最新數據感興趣，則可以在熱熱架構中使用不同的節點類型。 使用最新數據和更少數據為節點提供更多功能； 功能較弱的節點上的大量較舊且訪問頻率較低的數據。
3. 通常，您需要找到瓶頸。 我將獲得免費的監視插件，並看看Kibana和Elasticsearch的表現如何。

大膽的猜測：您在IO方面受到限制。 與EBS相比，本地磁盤更受歡迎，與旋轉磁盤相比，SSD更受歡迎。如果可以的話，可以得到盡可能多的IOPS。