如何配置 Kafka 集群與 Elastic Search 集群一起工作？

Question

我必須構建一個像這種拓撲結構的日志集群和監控集群（為了高可用性）。 我想知道如何配置這些日志托運人集群。 （我在圖像中有 2 個地形）

1. 如果我在 Kafka 集群中使用帶有 FileBeat 的 Kafka，Elastic Search 會收到重復數據，因為 Kafka 在數據中有副本嗎？

2. 如果我使用 Logstash（在彈性搜索集群中）從 Kafka 集群獲取日志，配置應該如何，因為我認為 Logstash 不知道從哪里讀取 Kafka 集群上的日志效率。

集群拓撲

謝謝閱讀。 如果您有任何想法，請與我討論^^！

Answer 1

正如我看到的兩種配置都與 Kafka 兼容，您可以在消費者和生產者階段使用 filebeat、logstash 或混合它們！

恕我直言，一切都取決於您的需求，即：有時我們在攝取到 kafka（生產者階段）之前或在將數據索引到彈性（消費者階段）之前使用一些過濾器來豐富數據，在這種情況下最好使用 logsatsh，因為使用過濾器比在 filebeat 中更容易

但是如果你想玩原始數據，也許 filebeat 更好，因為代理更輕。

關於您的問題：

1. Kafka 有復制的數據，但是對於 HA 提議，您只能讀取一次具有相同消費組的數據
2. 對於使用logstash從kafka讀取日志，您可以使用kafka的logstash輸入插件，很容易並且工作正常！

https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html