通過與昨天的比較來檢測 Prometheus 中缺失的標簽

Question

我在 Prometheus 中有很長的設備列表，我正在尋找一種設置警報的方法，以顯示缺少哪個確切設備。

指標（簡化）如下所示：

device{name="server1"}
device{name="server2"}
etc

像這樣的查詢將表明存在/缺少設備：

count(device) - count(device offset 1d)

但是，我將不得不手動檢查它們以找出究竟缺少哪一個。 有沒有辦法比較“名稱”標簽並在警報中顯示丟失的標簽？

Answer 1

您可以嘗試嘗試以下操作：

device{} offset 1d unless device{}

這將返回device度量 1d 前的所有時間序列，現在沒有對應項。 然后，您可以根據需要在各個設備上發出警報。 或者這是您可以在上面的 count(...) > 0 上發出警報的首選項，然后使用 Prometheus 支持在模板中執行查詢以獲取警報標簽/注釋的事實，並在其中放入設備列表（例如） description注釋（或警報接收者使用的任何注釋）。 這顯示在這里