没有活跃成员的 kafka 消费者组的 CURRENT-OFFSET 和 LAG

Question

这两个怎么设置？ 我在 kafka-consumer-groups.sh 中观察到的行为是，当新消息附加到某个分区时，它首先会增加其 LOG-END-OFFSET 和 LAG 列，一段时间后，CURRENT-OFFSET 列会增加并且LAG 列递减，尽管没有任何消费者实际提交偏移量，因为没有活动消费者。 我是对的，这是否总是发生在没有活跃成员的消费者群体中，或者是否有可能关闭第二阶段，模拟不存在的消费者提交的抵消？ 这实际上令人困惑，您必须考虑消费者组中没有活动成员的信息，以便正确了解 CURRENT-OFFSET 和 LAG 列的实际含义（在这种情况下不多）。

好的，似乎消费者实际上确实不断地连接和轮询消息并提交偏移量，但是以不稳定的方式（每次断开连接），因此 kafka-consumer-groups.sh 总是报告好像没有活动成员团体。 这是一个以这种方式运行的 flink 作业。 那可能吗？

Answer 1

如果保留策略启动并删除旧消息，则延迟可能会减少（如果发布的日志少于删除的日志），因为CURRENT-OFFSET将自身定位在最早的可用日志中。

我会检查您的主题的保留政策是什么，因为这可能是由于已删除的消息：滞后不关心被清除的消息，只关心活跃的消息。

Answer 2

这与连接和断开 kafka 集群无关，这将是一种缓慢且无效的方式。 它与 flink kafka consumer 的实现方式有关，此处描述： Flink Kafka Connector

提交的偏移量只是为了监控目的而公开消费者进度的一种手段。

它的基本作用是，它不以标准消费者的身份订阅主题，使用消费者组及其标准协调者和领导者机制，而是直接分配分区，并且仅向消费者组提交偏移量以用于监控目的，尽管它有使用方法这些偏移量也可以继续使用，请参见此处，但无论如何，这就是为什么这些组在 kafka 看来没有活跃成员，并且仍然得到提交的偏移量。