收集kafka。消費者滯后豆

Question

我是kafka的新手，正在設置ELK堆棧來收集JMX指標和日志文件以進行分析和報告。

目前，我已設置我的logstash以以下方式收集kafka mbean：

    {
            "object_name" : "kafka.*:type=*,name=*,topic=*,partition=*"
    },
    {
            "object_name" : "kafka.*:type=*,name=*,topic=*"
    },
    {
            "object_name" : "kafka.*:type=*,name=*"
    },
    {
            "object_name" : "kafka.*:type=*,client-id=*"
    },
    {
            "object_name" : "kafka.*:type=*,name=*,clientId=*,brokerHost=*,brokerPort=*"
    },
    {
            "object_name" : "kafka.*:type=*,name=*,clientId=*"
    },
    {
            "object_name" : "kafka.*:type=*,broker-id=*,fetcher-id=*"
    },
    {
            "object_name" : "kafka.*:type=*,client-id=*"
    }

我遇到的問題是我缺少所有kafka.consumer指標，當我在RMI端口上登錄jconsole時，也看不到kafka.consumer mbeans。

我是整個JMX / mbeans和kafka的新手，所以我是否在尋找kafka.consumer指標的正確位置？ 我目前確實有活躍的生產者和消費者參與集群。

Answer 1

kafka.consumer僅存在於使用者進程本身，而不存在於Kafka經紀人進程中。 請注意，如果您使用的不是Java客戶端庫（例如kafka-python ），則mbeans將不存在。

這是Apache文檔中有關Broker / Consumer / Producer上可用的mbean的官方部分， 此處是Confluent Kafka文檔中較容易閱讀的版本。