如何从现有日志中提取字段（ECS 中的fluent-bit）

Question

我已经在我的 ECS 集群上配置了 Fluent-bit。 我可以在 Kibana 中看到日志。 但是所有日志数据都发送到单个字段“日志”。 如何将每个字段提取到单独的字段中。 在这个问题中已经有一个 fluentd 的解决方案。

但是我怎样才能用 fluent-bit 达到同样的效果呢？

在 fluent-bit 的 Kuberntetes 中有一个解决方案： https://docs.fluentbit.io/manual/filter/kubernetes

如何在 ECS 中实现相同的目标？

Answer 1

通常 fluent-bit 准确发送 docker 日志文件，该日志文件取自/var/lib/docker/containers/*/*.log您可以在您的机器上浏览此路径，并查看它包含 JSON 字符串，其中恰好包含您提到的两个字段。

从这里你有很多方法，我会发现两种我很熟悉的方法：

1. 使用logstash ：

   你应该很清楚日志结构。 这有助于您为解析日志字段创建正确的过滤器管道。 通常，人们为此使用过滤器插件。 如果您添加日志示例，我将能够制作这样的过滤器示例

2. 使用elasticsearch 摄取节点。

   你应该很清楚日志结构。 为了能够轻松地为解析日志字段创建处理器管道。 更多一次，具体的日志示例帮助我们帮助您。

最常用的过滤器/处理器是 grok 过滤器/ 处理器。 这个工具有很多选项可以从任何日志中解析结构化文本。