Prometheus中的Prometheus嵌套警报查询

Question

是否可以在Prometheus警报中添加嵌套查询？ 我正在使用prometheus监视kubernetes集群。

如果节点关闭，则会生成警报，但是我要配置警报，以便如果任何节点关闭，则prometheus不应为在该节点上运行的Pod和服务发送警报。

像这样

if(pod_down)
  if(corresponding_node_down)
    //dont send alert
    //node down alert is in firing state

Answer 1

如果节点发生故障，那么Kubernetes应该会自动处理该问题并将服务转移到其他地方。 因此，这样的警报不是很有用。

我建议您执行的操作会提醒用户可见的症状（例如高延迟和错误率），而不是单个原因（例如机器或容器出现故障）。

Answer 2

抑制

看一下此Prometheus Alertmanager配置。

链接： prometheus.io/docs/alerting/configuration/#inhibit_rule

禁止是一种概念，如果某些其他警报已经触发，则抑制某些警报的通知。

示例：正在触发警报，通知您无法访问整个群集。 可以将Alertmanager配置为使与该群集有关的所有其他警报静音。 这样可以防止与实际问题无关的数百或数千个触发警报的通知。

参考： https : //prometheus.io/docs/alerting/alertmanager