每天约200G日志的Elasticsearch集群设计

Question

我创建了具有4个数据节点，3个主节点，1个客户端节点（kibana）的ES群集（5.4.1版）。

数据节点是r4.2xlarge aws实例（61g内存，8vCPU），为ES JAVA分配了30G内存。

我们每天要写大约200G的日志，并保留过去14天。

我正在为我们的集群寻求建议，以提高集群性能，尤其是搜索性能（菊苣）。

更多数据节点？ 更多的客户端节点？ 更大的节点？ 更多副本？ 任何可以提高性能的选项都是可选的。

有没有人接近这个设计或负载？ 我很高兴听到其他设计和负载。

谢谢，Moshe

Answer 1

1. 您正在使用多少个碎片？ 默认为5？ 这甚至是一个相当不错的数字。 分片的大小取决于您的要求，分片应在10G到50G之间； 与日志记录用例有关，而不是在50GB方面。
2. 您想加快哪些查询？ 它们主要针对近期数据还是长时间跨度？ 如果您主要对最新数据感兴趣，则可以在热热架构中使用不同的节点类型。 使用最新数据和更少数据为节点提供更多功能； 功能较弱的节点上的大量较旧且访问频率较低的数据。
3. 通常，您需要找到瓶颈。 我将获得免费的监视插件，并看看Kibana和Elasticsearch的表现如何。

大胆的猜测：您在IO方面受到限制。 与EBS相比，本地磁盘更受欢迎，与旋转磁盘相比，SSD更受欢迎。如果可以的话，可以得到尽可能多的IOPS。