卡夫卡消費者-JMX屬性

Question

我在端口8081的kafka代理上啟用了JMX。當我在jConsole中查看MBean屬性時，僅對kafka.consumer看到以下kafka.consumer -

kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchRequestRateAndTimeMs,clientId=ReplicaFetcherThread-2-413

kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchResponseSize,clientId=ReplicaFetcherThread-0-413

但是，JMX不會發出在“卡夫卡消費者指標”下在此標識的其他參數。

Kafka版本＃0.8.2.1

我特別感興趣kafka.consumer:type=ConsumerFetcherManager,name=MaxLag,clientId=([-.\\w]+)

有什么想法嗎？

Answer 1

您正在監聽的JMX PORT是代理端口。 但是kafka.consumer：的Mbean是使用者jvm指標。 因此，如果您有另一個使用主題的JVM，則可以看到kafka.consumer Mbeans。

Answer 2

ConsumerLag是Kafka中的重載術語 ，可以表示：

1. 消費者度量 ：消費者當前對數偏移量與生產者當前對數偏移量之間的計算差。 如果您使用的是基於Java / Scala的使用者，則可以在JMX bean下找到它（例如pykafka使用者不導出指標 ）：

   • kafka v0.8.2.x ：

      kafka.consumer:type= ConsumerFetcherManager, name=MaxLag, clientId=([-.\\w]+) 

   • kafka v0.9+ ：

      kafka.consumer:type=consumer-fetch-manager-metrics,client-id=([-.w]+) 

   消費者滯后曾經存儲在ZooKeeper中（Kafka <= v0.8 ），Kafka的較新版本具有特殊的主題__consumer_offsets ，用於存儲每個消費者的滯后。 有一些工具（例如kafka-manager ）可以通過使用本主題中的消息並計算延遲來計算延遲。 在kafka-manager您必須為每個集群啟用此功能：

   []輪詢消費者信息（不建議大量消費者使用）

2. 經紀人指標 ：代表分區領導者及其追隨者之間的偏移差異。 您可以在JMX bean下找到此指標：

    kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\\w]+),topic=([-.\\w]+),partition=([0-9]+) 

Answer 3

這可能有助於找到0.8，但我目前正在運行Kafka 0.10經紀人和使用者。 使用控制台使用者時，我將jconsole指向該使用者，並在MBeans TAB上找到： kafka.consumer > consumer-fetcher-manager-metric kafka.consumer consumer-fetcher-manager-metric kafka.consumer > consumer-1 > Attributes > records-max-lag 。