为什么 Kafka 主题 __consumer_offsets 的分区大小不平衡？

Question

我正在使用 Kafka 2.0.0。

在__consumer_offset主题中，大部分分区为 30MB，但有些分区非常大。 例如：1 个分区是 15GB，另一个分区是 250GB，等等。

可能是什么问题呢？

Answer 1

主题__consumer_offsets存储 Kafka Consumer Group 的每个订阅 TopicPartition 的最新提交偏移量。 在本主题中，ConsumerGroup 服务器作为键。

显然，与其他消费者组相比，属于同一分区的消费者组（应用 hash(key) % #partitions 逻辑）更加活跃（更频繁地消费更多消息）。