Kubernetes CronJob - Prometheus 警报

Question

我正在尝试弄清楚如何使用 kube-state-metrics 为我的 kubernetes cronjob 创建 Prometheus 警报以用于以下场景。

1. 如果我的 cronjob 失败，发送警报，一分钟后如果它仍然失败或存在另一个失败的 cronjob，继续每 5 分钟发送一次警报，否则解决。
2. 如果我的 cronjob 运行超过一分钟，请发送警报。

我试过count_over_time(kube_job_failed[1m]) > 0这给了我一个失败警报，但从未自行解决。

任何指导将不胜感激。

Answer 1

使用以下查询自行解决警报。

increase(kube_job_status_failed{job=~"mytestjob-.*"}[5m]) > 1

请参阅是否有一种方法可以使用 prometheus 监视 kube cron 作业