使用JMX監控Kafka消費者指標

Question

我嘗試將每個JMX的Kafka指標導出到Prometheus並用Grafana進行顯示，但是我一直在努力獲取Consumer指標（更確切地說，這是一個：

kafka.consumer：type = ConsumerFetcherManager，name = MaxLag，clientId =（[-。\\ w] +））

每當我嘗試獲取此Mbean時，它甚至都不會顯示。 我一直在閱讀“必須調查客戶”或“我正在調查經紀人指標，但我需要消費者指標”的所有內容，但是沒人能說明如何做到這一點，所以我問你伙計們，如果您能幫助我。 是否有某種配置或特殊的JMX端口來獲取使用者指標或類似的東西？

我的配置文件查找MBean的模式：

- pattern :  kafka.consumer<type=(.+), name=(.+), client-id=(.+)><>(Count|Value) 
  name: kafka_consumer_$1_$2
  Labels:
    clientId: "$3"

另外，我需要使用JMX來獲取指標，因為我無權訪問Kafka服務器。

我以這個項目為例： https : //github.com/rama-nallamilli/kafka-prometheus-monitoring

Answer 1

以下兩件事是可能的：

答：可以使客戶端已經從Kafka斷開連接

B.經紀人可能沒有此指標。 它可能在運行使用者代碼的JVM應用程序中可見。 我不確定，但是您可以通過以下方法進行檢查：

1. 在啟用JMX的情況下重新啟動消費者應用程序

2. 使用視覺虛擬機連接到上述JVM

3. 它應該顯示所有可用的JMX指標。

4. 如果指標包含您選擇的指標，則說明您所處的位置錯誤（經紀人）。 如果沒有，那我錯了。

Answer 2

我沒有確切的配置，但我可以在您的配置中指出的1個錯誤是， 名稱不能成為消費者指標的匹配模式。 嘗試使用以下方式刪除模式：

- pattern :  kafka.consumer<type=(.+), client-id=(.+)><>(Count|Value) 

有關更多參考，您可以查看Apache kafka文檔。我也遇到了為消費者和生產者創建通用模式的問題。 一旦我弄明白了，將在這里發布。

@xBoLLo