在 Prometheus 中找出標簽的不同值並設置警報

Question

我有一個案例，我想設置一個警報，其中標簽的至少一個值是不同的。

例如，具有度量test_metric{cluster_name="xyz",os="ubuntu"}的 Kubernetes 集群 xyz（有 20 個節點）。 如果這 20 個節點中的任何一個具有不同的“os”值，我想找出/設置警報。

基本上，這個想法是在集群中所有節點的 os 值不同時收到警報。

目前我正在測試一個我認為不正確的非常簡單的規則：

count(test_metric{cluster_name="xyz",os!=""} != count(test_metric{cluster_name="xyz",os!=""})

Answer 1

嵌套計數是處理此問題的方法：

count by (cluster_name) (
   count by (os, cluster_name)(test_metric)
) != 1