从 kafka 获取日志并发送到 loki

Question

希望你们在这次疫情期间一切都好。

我有一个 kubernetes 集群正在运行。 Pod 之间的通信是通过 kafka 完成的。 它当前仅记录到标准输出。 没有文件。 没有卡夫卡主题。 这显然很糟糕。

我想设置一个 grafana 实例，让我在那里集中所有日志。 存储将是 Loki + S3

为了做到这一点，我发现很多人使用 Fluentd、FluentBit 和 Promtail 之类的工具，这些工具可以集中日志并将它们发送给 Loki。 但是，我已经运行了 Kafka。 如果我可以通过“日志记录”主题将所有日志发送到 kafka，我不明白为什么我会使用像 fluentd 这样的工具。

我的问题是：如何将日志主题内的所有消息发送给 Loki？ Fluentd 无法从 kafka 获取输入。

我是否必须设置一些定期运行的脚本，对数据进行排序并将其直接发送给 loki？

Answer 1

我建议您使用 promtail，因为它也来自 Grafana，而不是使用 kafka 解决方案。

如果您将应用程序中的日志发送到 kafka，那么您需要：

• 修改您的应用程序以发送到 kafka 而不是标准输出
• 配置日志转发器以将 kafka 上的消息发送到 loki（可以流利）

如果您使用一种通常建议的方法，您需要：

• 配置日志转发器以将消息从 docker 标准输出发送到 loki（可以使用 promtail 默认配置）

但是，如果您想 go 为您的解决方案与 kafka 在中间有一些流利的插件配置 kafka 作为输入和 output。 https://github.com/fluent/fluent-plugin-kafka