如何配置 Kafka 集群与 Elastic Search 集群一起工作？

Question

我必须构建一个像这种拓扑结构的日志集群和监控集群（为了高可用性）。 我想知道如何配置这些日志托运人集群。 （我在图像中有 2 个地形）

1. 如果我在 Kafka 集群中使用带有 FileBeat 的 Kafka，Elastic Search 会收到重复数据，因为 Kafka 在数据中有副本吗？

2. 如果我使用 Logstash（在弹性搜索集群中）从 Kafka 集群获取日志，配置应该如何，因为我认为 Logstash 不知道从哪里读取 Kafka 集群上的日志效率。

集群拓扑

谢谢阅读。 如果您有任何想法，请与我讨论^^！

Answer 1

正如我看到的两种配置都与 Kafka 兼容，您可以在消费者和生产者阶段使用 filebeat、logstash 或混合它们！

恕我直言，一切都取决于您的需求，即：有时我们在摄取到 kafka（生产者阶段）之前或在将数据索引到弹性（消费者阶段）之前使用一些过滤器来丰富数据，在这种情况下最好使用 logsatsh，因为使用过滤器比在 filebeat 中更容易

但是如果你想玩原始数据，也许 filebeat 更好，因为代理更轻。

关于您的问题：

1. Kafka 有复制的数据，但是对于 HA 提议，您只能读取一次具有相同消费组的数据
2. 对于使用logstash从kafka读取日志，您可以使用kafka的logstash输入插件，很容易并且工作正常！

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html