什么可能会导致卡夫卡`__consumer_offsets`主题的巨大负担？

Question

我在Kafka集群中有简单的观察（Kafka 0.11.0.0）。

根据jmx信息， __consumer_offsets主题不断加载的消息比所有其他主题中所有消息的总和多10倍。 我还将控制台消费者连接到这个主题，我可以测量类似的值。

• 可能是什么原因？
• 我如何检查Kafka经纪人在做什么并自己产生这样的负载？

Answer 1

阅读__consumer_offsets主题：

bin/kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server brokers --formatter "kafka.coordinator.GroupMetadataManager\\$OffsetsMessageFormatter" --new-consumer --consumer.config consumer.conf

for kafka 11使用格式化程序"kafka.coordinator.group.GroupMetadataManager\\$OffsetsMessageFormatter"

consumer.conf有一行

exclude.internal.topics=false

Answer 2

对于kafka 2.2版，这是一个演示：

kafka_2.12-2.2.1 / bin＃

./kafka-console-consumer.sh --bootstrap-server  your-broker   --topic __consumer_offsets --formatter  "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter"

输出将是：

[MyGroup-7cc5f948df-f9tqz,__MY_TOPIC,2]::OffsetAndMetadata(offset=30, leaderEpoch=Optional.empty, metadata=, commitTimestamp=1568121107017, expireTimestamp=None)