使用一些指标导出器 + Prometheus + Grafana 监控日志文件

Question

我需要监控非常不同的日志文件中的错误、成功状态等。我需要使用 Prometheus 获取相应的指标并在 Grafana 中显示并在其上设置一些警报。 Prometheus + Grafana 没问题 我已经在不同的导出器（如 node_exporter 或 mysql_exporter 等）中大量使用它们。新 Grafana 4.x 中的警报也非常有效。

但是我很难找到合适的导出器/程序来“即时”分析日志文件并从中提取指标。

到目前为止我试过：

• mtail ( https://github.com/google/mtail ) - 有效，但现有版本无法轻松监控更多文件 - 通常它无法将特定 mtail 程序（分析收据）绑定到某些特定日志文件 + 我无法轻松添加日志文件名字进入标签
• grok_exporter ( https://github.com/fstab/grok_exporter ) - 有效，但我只能提取有限的信息 + 一个实例只能监控一个日志文件，这意味着我将不得不启动更多实例，在更多端口上导出并配置所有端口在普罗米修斯中——这造成了太多新的失败点
• fluentd prometheus exporter ( https://github.com/kazegusuri/fluent-plugin-prometheus ) - 工作但看起来我只能提取非常简单的指标，我无法对日志文件中的行进行任何高级正则表达式分析

这里有没有人有一个真正运行的解决方案，用于使用“一些导出器”+ Prometheus + Grafana 监视日志文件中的高级指标？ 或者代替导出程序，我可以使用 Prometheus 推送网关从中获取结果。 谢谢。

Answer 1

看看Telegraf 。 它支持使用输入插件logparser和tail拖尾日志。 要将指标导出为 prometheus 端点，请使用prometheus_client输出插件。 您也可以即时申请聚合。 我发现配置多个日志文件比 grok_exporter 或 mtail 更简单

Answer 2

这些是当前将日志数据导入 Prometheus 的 3 个答案。

您还可以研究获取生成日志的任何内容以直接公开 Prometheus 指标。

Answer 3

尝试 prometheus-python-exporter 并在 python grepping 日志文件中编写您自定义的导出器，然后公开所需的指标。 有几个教程可以帮助你

Answer 4

稍微更新的答案：

我去寻找同样的东西，找到了 Grafana 日志聚合器“Loki”和收集日志文件并推送到 Grafana (Loki) 的“Promtail”。 实际上，Loki 就像日志文件的 Prometheus。