Prometheus Alertmanager 是否能够区分事件和条件？

Question

我们有一个 kubernetes 系统，除其他活动外，该系统处理来自传感器的数千个输入输入。 一些传感器可能会不时停止报告，因此我们可以对断开事件发出警报。 当传感器回来时，我们也希望为此获得一个事件。 因此，在这些事件（连接和断开连接）之间，特定传感器的状态可以是 OK 或 NOK，我们希望查看当前断开连接的传感器的状态，而不需要检查所有已发布的事件并每次都找出来。

我们可以用 Prometheus Alertmanager 做到这一点吗？ 如果是，您能否参考可能的方法来完成此操作？ 如果不是，您处理此要求的默认方式是什么？

Answer 1

这必须在 Prometheus 服务器端通过添加自我监控警报进行管理，更准确地说是针对您的案例的 PrometheusTargetMissing 警报

  - alert: PrometheusTargetMissing
    expr: up == 0
    for: 0m
    labels:
      severity: critical
    annotations:
      summary: Prometheus target missing (instance {{ $labels.instance }})
      description: A Prometheus target has disappeared. An exporter might be crashed.\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}

参考： https://awesome-prometheus-alerts.grep.to/rules.html#rule-prometheus-self-monitoring-2