Prometheus中的Prometheus嵌套警報查詢

Question

是否可以在Prometheus警報中添加嵌套查詢？ 我正在使用prometheus監視kubernetes集群。

如果節點關閉，則會生成警報，但是我要配置警報，以便如果任何節點關閉，則prometheus不應為在該節點上運行的Pod和服務發送警報。

像這樣

if(pod_down)
  if(corresponding_node_down)
    //dont send alert
    //node down alert is in firing state

Answer 1

如果節點發生故障，那么Kubernetes應該會自動處理該問題並將服務轉移到其他地方。 因此，這樣的警報不是很有用。

我建議您執行的操作會提醒用戶可見的症狀（例如高延遲和錯誤率），而不是單個原因（例如機器或容器出現故障）。

Answer 2

抑制

看一下此Prometheus Alertmanager配置。

鏈接： prometheus.io/docs/alerting/configuration/#inhibit_rule

禁止是一種概念，如果某些其他警報已經觸發，則抑制某些警報的通知。

示例：正在觸發警報，通知您無法訪問整個群集。 可以將Alertmanager配置為使與該群集有關的所有其他警報靜音。 這樣可以防止與實際問題無關的數百或數千個觸發警報的通知。

參考： https : //prometheus.io/docs/alerting/alertmanager