如何從現有日志中提取字段（ECS 中的fluent-bit）

Question

我已經在我的 ECS 集群上配置了 Fluent-bit。 我可以在 Kibana 中看到日志。 但是所有日志數據都發送到單個字段“日志”。 如何將每個字段提取到單獨的字段中。 在這個問題中已經有一個 fluentd 的解決方案。

但是我怎樣才能用 fluent-bit 達到同樣的效果呢？

在 fluent-bit 的 Kuberntetes 中有一個解決方案： https://docs.fluentbit.io/manual/filter/kubernetes

如何在 ECS 中實現相同的目標？

Answer 1

通常 fluent-bit 准確發送 docker 日志文件，該日志文件取自/var/lib/docker/containers/*/*.log您可以在您的機器上瀏覽此路徑，並查看它包含 JSON 字符串，其中恰好包含您提到的兩個字段。

從這里你有很多方法，我會發現兩種我很熟悉的方法：

1. 使用logstash ：

   你應該很清楚日志結構。 這有助於您為解析日志字段創建正確的過濾器管道。 通常，人們為此使用過濾器插件。 如果您添加日志示例，我將能夠制作這樣的過濾器示例

2. 使用elasticsearch 攝取節點。

   你應該很清楚日志結構。 為了能夠輕松地為解析日志字段創建處理器管道。 更多一次，具體的日志示例幫助我們幫助您。

最常用的過濾器/處理器是 grok 過濾器/ 處理器。 這個工具有很多選項可以從任何日志中解析結構化文本。