如何从 kubernetes 应用程序日志中提取字段 -​​ efk 堆栈

Question

我正在使用 FluentD（部署为 DaemonSet）将 k8s 应用程序（容器）日志流式传输到 elasticsearch。 我想从弹性中的“日志”键字符串中提取特定键，例如 logKey: ... 或 statusCode:.. （在下面的“日志”键内）

请查看我正在尝试解析的日志：

我看到我应该在日志发送到弹性之前使用 FluentD 插件来解析日志，但不幸的是我没有找到一种方法来做到这一点。

这是我当前的 ConfigMap 容器部分：

<source>
  @type tail
  path /var/log/containers/*.log
  pos_file /var/log/app.log.pos
  tag kubernetes.*
  read_from_head true
  <parse>
    @type json
    time_format %Y-%m-%dT%H:%M:%S.%NZ
  </parse>
</source>

非常感谢你的帮助。

Answer 1

你要试试这个插件吗？
似乎已经设置了 fluentd 的配置。
https://github.com/kubernetes/kubernetes/blob/8568d1843daababe70763b30ae897388710b2216/cluster/addons/fluentd-elasticsearch/fluentd-es-configmap.yaml

您的 ConfigMap 是否附加到上面的 ConfigMap？