Kubernetes / Prometheus指標不匹配

Question

我有一個在Kubernetes（Azure AKS）中運行的應用程序，其中每個Pod包含兩個容器。 我還設置了Grafana，以顯示各種度量標准，其中一些來自Prometheus。 我正在嘗試對另一個問題進行故障排除，因此我注意到某些指標似乎在數據源之間不匹配。

例如， kube_deployment_status_replicas_available返回值30，而kubectl -n XXXXXXXX get pod列表（它們都正在運行），而kube_deployment_status_replicas_unavailable返回值0。而且，如果我使用kubectl獲取相關的部署，我會看到期望值。

$ kubectl get deployment XXXXXXXX
NAME       DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
XXXXXXXX   100       100       100          100         49d

同一集群中還有其他所有值正確關聯的應用程序（命名空間），因此我不確定故障可能出在哪里，或者不確定是否有辦法確定哪個值正確。 任何指導將不勝感激。 謝謝

Answer 1

基於具有kube_deployment_status_replicas_available指標，我假設您有Prometheus從kube-state-metrics刮取指標 。 聽起來它的部署有些古怪。 它可能是：

• 緩存的指標數據
• 和/或簡單地，它無法從kube-apiserver中獲取當前指標

我會：

• 檢查您正在運行的版本以獲取kube-state-metrics，並查看它是否與您的K8s版本兼容。
• 重新啟動kube-state-metrics窗格。
• 檢查日志kubectl logs kube-state-metrics`
• 檢查Prometheus日志
  • 如果看不到任何內容，請嘗試使用--log.level=debug標志啟動Prometheus。

希望能幫助到你。