卡夫卡消费者-JMX属性

Question

我在端口8081的kafka代理上启用了JMX。当我在jConsole中查看MBean属性时，仅对kafka.consumer看到以下kafka.consumer -

kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchRequestRateAndTimeMs,clientId=ReplicaFetcherThread-2-413

kafka.consumer:type=FetchRequestAndResponseMetrics,name=FetchResponseSize,clientId=ReplicaFetcherThread-0-413

但是，JMX不会发出在“卡夫卡消费者指标”下在此标识的其他参数。

Kafka版本＃0.8.2.1

我特别感兴趣kafka.consumer:type=ConsumerFetcherManager,name=MaxLag,clientId=([-.\\w]+)

有什么想法吗？

Answer 1

您正在监听的JMX PORT是代理端口。 但是kafka.consumer：的Mbean是使用者jvm指标。 因此，如果您有另一个使用主题的JVM，则可以看到kafka.consumer Mbeans。

Answer 2

ConsumerLag是Kafka中的重载术语 ，可以表示：

1. 消费者度量 ：消费者当前对数偏移量与生产者当前对数偏移量之间的计算差。 如果您使用的是基于Java / Scala的使用者，则可以在JMX bean下找到它（例如pykafka使用者不导出指标 ）：

   • kafka v0.8.2.x ：

      kafka.consumer:type= ConsumerFetcherManager, name=MaxLag, clientId=([-.\\w]+) 

   • kafka v0.9+ ：

      kafka.consumer:type=consumer-fetch-manager-metrics,client-id=([-.w]+) 

   消费者滞后曾经存储在ZooKeeper中（Kafka <= v0.8 ），Kafka的较新版本具有特殊的主题__consumer_offsets ，用于存储每个消费者的滞后。 有一些工具（例如kafka-manager ）可以通过使用本主题中的消息并计算延迟来计算延迟。 在kafka-manager您必须为每个集群启用此功能：

   []轮询消费者信息（不建议大量消费者使用）

2. 经纪人指标 ：代表分区领导者及其追随者之间的偏移差异。 您可以在JMX bean下找到此指标：

    kafka.server:type=FetcherLagMetrics,name=ConsumerLag,clientId=([-.\\w]+),topic=([-.\\w]+),partition=([0-9]+) 

Answer 3

这可能有助于找到0.8，但我目前正在运行Kafka 0.10经纪人和使用者。 使用控制台使用者时，我将jconsole指向该使用者，并在MBeans TAB上找到： kafka.consumer > consumer-fetcher-manager-metric kafka.consumer consumer-fetcher-manager-metric kafka.consumer > consumer-1 > Attributes > records-max-lag 。