Grafana 和 Prometheus：自動添加指標

Question

我正在使用 Grafana 和 Prometheus 來監控我們的服務器。 我們有很多數據庫過程，例如“select_users”或“insert_task”。 為了監控服務器中有多少掛起的數據庫過程調用，我們動態地為 Prometheus 中的每個過程調用添加數據點。 現在我們在 Prometheus 中擁有“pending_select_users”、“pending_insert_task”等數據點。

但是，由於數據庫程序太多（並且在開發過程中數量會增加），因此我們在Grafana中為每個數據點手動添加指標並不是很實際。 有沒有辦法在 Grafana 中動態添加指標？ 由於所有數據點都有一個通用名稱前綴（“pending_”），我們可以在 Grafana 中使用通配符添加指標嗎？ 或者有沒有更好的方法來做到這一點？

Answer 1

由於 Grafana 使用 JSON 作為底層儀表板 DSL，您可以在每次添加新指標時動態創建儀表板，並將其（通過 API）導入 Grafana。 我會在您的 Prometheus 目標之上添加一個自動化，抓取指標，如果在沒有匹配儀表板的情況下找到新指標（帶有所需前綴），自動化將創建它並將其導入 Grafana。 Grafana API： http ://docs.grafana.org/http_api/（專門用於Dashbboards ）。

Answer 2

@Eitan 描述的解決方案絕對可行。 使用像grafonnet這樣的庫來動態生成儀表板也是如此。

但在我看來，最簡單的方法是在 Grafana 中創建一個包含您感興趣的所有標簽值的變量。

label_values(metric_name{label_name=~"prefix*"}, label_name)

應該為此工作。 然后使用 Grafana 的重復面板/行功能為變量中的每個值重復一組面板。 盡管如果您有數十個/數百個不同的值，這可能會失控。

• https://grafana.com/docs/grafana/latest/variables/repeat-panels-or-rows/
• https://grafana.com/blog/2020/06/09/learn-grafana-how-to-automatically-repeat-rows-and-panels-in-dynamic-dashboards/