Kafka vs filebeat 將 Shippong 日志發送到 Logstash

Question

我目前正在設置中央日志系統（使用 ELK），估計可以從 100 個微服務中獲取日志數據，並且可以擴展更多。 要求是具有最小延遲和高度可用的解決方案現在我被困在設計應該是什么樣子上。 在通過互聯網學習時，我得到了以下廣泛用於此類要求的方法

微服務 -> filebeat -> kafka -> logstash -> ElasticSearch -> Kibana

但是，我很難理解 filebeat 在這種情況下是否真的有用。 如果我直接將 ZF7B44CFFAFD5C52223D5498196C8A2E7BZ 日志記錄到 Kafka，然后將其發送到 logstash，該怎么辦？ 這將幫助我克服日志文件的維護問題，並且將減少一個需要監控和維護的組件。 我看到使用 kafka 優於 filebeat 的優勢在於，如果傳輸的數據量非常大或 ES 集群無法訪問，它可以充當緩沖區。 資料來源： https://www.elastic.co/blog/just-enough-kafka-for-the-elastic-stack-part1

我想了解擁有我無法實現的 filebeat 是否有任何真正的好處。

Answer 1

Filebeat 可以安裝在您的每個服務器或節點上。 Filebeat 收集並快速發送日志。 它非常快速和輕量級，用 go 編寫。

在您的情況下，優點是您不必花時間開發相同的功能來收集和發送日志。 您只需為您的日志架構使用和配置 Filebeat。 這非常方便。

Filebeat 的另一種描述可在鏈接中找到。