kafka（非活动）消费者滞后监控

Question

我使用Confluent Kafka 0.10.0 。 我想监视消费者偏移量以进行警报。

消费者组处于非活动状态时，其值存储在哪里？ 有没有编程的方法来提取这些？ （即kafka api中的某些内容）

同样-是否有一种方法可以获取包含不活动组的组列表？

---

注意：

（目前）列出/描述我的项目组的唯一方法是使用
kafka-consumer-groups ... --new-consumer 。

Answer 1

请执行以下操作：

1. 获取您的group.id，并计算Math.abs（groupID.hashCode（））％50。假设您的group.id为“ test_group1”，然后通过计算Math.abs（“ test_group1” .hashCode（）获得目标分区号）％50

2. 使用先前计算的目标分区号运行以下命令：

   bin / kafka-simple-consumer-shell.sh --topic __consumer_offsets --partition --broker-list *** --formatter“ kafka.coordinator.GroupMetadataManager \\ $ OffsetsMessageFormatter”

您应该能够看到此非活动组的偏移量。 对于活动组，仅运行kafka-consumer-groups脚本就足够了。

Answer 2

看看kafka文档。 以下页面声称是您想要的工作示例： https : //cwiki.apache.org/confluence/display/KAFKA/Committing+and+fetching+consumer+offsets+in+Kafka