如何從 kubernetes 應用程序日志中提取字段 -​​ efk 堆棧

Question

我正在使用 FluentD（部署為 DaemonSet）將 k8s 應用程序（容器）日志流式傳輸到 elasticsearch。 我想從彈性中的“日志”鍵字符串中提取特定鍵，例如 logKey: ... 或 statusCode:.. （在下面的“日志”鍵內）

請查看我正在嘗試解析的日志：

我看到我應該在日志發送到彈性之前使用 FluentD 插件來解析日志，但不幸的是我沒有找到一種方法來做到這一點。

這是我當前的 ConfigMap 容器部分：

<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/app.log.pos
  tag kubernetes.*
  read_from_head true
  <parse>
    @type json
    time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>

非常感謝你的幫助。

Answer 1

你要試試這個插件嗎？
似乎已經設置了 fluentd 的配置。
https://github.com/kubernetes/kubernetes/blob/8568d1843daababe70763b30ae897388710b2216/cluster/addons/fluentd-elasticsearch/fluentd-es-configmap.yaml

您的 ConfigMap 是否附加到上面的 ConfigMap？