使用一些指標導出器 + Prometheus + Grafana 監控日志文件

Question

我需要監控非常不同的日志文件中的錯誤、成功狀態等。我需要使用 Prometheus 獲取相應的指標並在 Grafana 中顯示並在其上設置一些警報。 Prometheus + Grafana 沒問題 我已經在不同的導出器（如 node_exporter 或 mysql_exporter 等）中大量使用它們。新 Grafana 4.x 中的警報也非常有效。

但是我很難找到合適的導出器/程序來“即時”分析日志文件並從中提取指標。

到目前為止我試過：

• mtail ( https://github.com/google/mtail ) - 有效，但現有版本無法輕松監控更多文件 - 通常它無法將特定 mtail 程序（分析收據）綁定到某些特定日志文件 + 我無法輕松添加日志文件名字進入標簽
• grok_exporter ( https://github.com/fstab/grok_exporter ) - 有效，但我只能提取有限的信息 + 一個實例只能監控一個日志文件，這意味着我將不得不啟動更多實例，在更多端口上導出並配置所有端口在普羅米修斯中——這造成了太多新的失敗點
• fluentd prometheus exporter ( https://github.com/kazegusuri/fluent-plugin-prometheus ) - 工作但看起來我只能提取非常簡單的指標，我無法對日志文件中的行進行任何高級正則表達式分析

這里有沒有人有一個真正運行的解決方案，用於使用“一些導出器”+ Prometheus + Grafana 監視日志文件中的高級指標？ 或者代替導出程序，我可以使用 Prometheus 推送網關從中獲取結果。 謝謝。

Answer 1

看看Telegraf 。 它支持使用輸入插件logparser和tail拖尾日志。 要將指標導出為 prometheus 端點，請使用prometheus_client輸出插件。 您也可以即時申請聚合。 我發現配置多個日志文件比 grok_exporter 或 mtail 更簡單

Answer 2

這些是當前將日志數據導入 Prometheus 的 3 個答案。

您還可以研究獲取生成日志的任何內容以直接公開 Prometheus 指標。

Answer 3

嘗試 prometheus-python-exporter 並在 python grepping 日志文件中編寫您自定義的導出器，然后公開所需的指標。 有幾個教程可以幫助你

Answer 4

稍微更新的答案：

我去尋找同樣的東西，找到了 Grafana 日志聚合器“Loki”和收集日志文件並推送到 Grafana (Loki) 的“Promtail”。 實際上，Loki 就像日志文件的 Prometheus。