Kafka vs filebeat 将 Shippong 日志发送到 Logstash

Question

我目前正在设置中央日志系统（使用 ELK），估计可以从 100 个微服务中获取日志数据，并且可以扩展更多。 要求是具有最小延迟和高度可用的解决方案现在我被困在设计应该是什么样子上。 在通过互联网学习时，我得到了以下广泛用于此类要求的方法

微服务 -> filebeat -> kafka -> logstash -> ElasticSearch -> Kibana

但是，我很难理解 filebeat 在这种情况下是否真的有用。 如果我直接将 ZF7B44CFFAFD5C52223D5498196C8A2E7BZ 日志记录到 Kafka，然后将其发送到 logstash，该怎么办？ 这将帮助我克服日志文件的维护问题，并且将减少一个需要监控和维护的组件。 我看到使用 kafka 优于 filebeat 的优势在于，如果传输的数据量非常大或 ES 集群无法访问，它可以充当缓冲区。 资料来源： https://www.elastic.co/blog/just-enough-kafka-for-the-elastic-stack-part1

我想了解拥有我无法实现的 filebeat 是否有任何真正的好处。

Answer 1

Filebeat 可以安装在您的每个服务器或节点上。 Filebeat 收集并快速发送日志。 它非常快速和轻量级，用 go 编写。

在您的情况下，优点是您不必花时间开发相同的功能来收集和发送日志。 您只需为您的日志架构使用和配置 Filebeat。 这非常方便。

Filebeat 的另一种描述可在链接中找到。