卡夫卡的消费者滞后随机变化？

Question

所以我在版本0.9.0.1上有一个kafka使用者，并且我经常运行以下命令来检查它：

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper <my-zookeeper> --group my-group

最近，我注意到我的延迟是随机变化的，而且我不知道为什么，例如，如果我两次运行命令，我会得到：

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148802905  148865604  62699 <my-consumer>
...

但是在第二次运行后，我立即得到：

Group   Topic    Pid Offset     LogSize    Lag   Owner
<group> <topic>  0   148865241  148865715  474   <my-consumer>
...

我也与另一个消费者群体有类似的问题，但不是随机地改变数字的滞后性，而是在数字和未知文本之间切换

我应该去哪里看？ 似乎是kafka的问题，但也可能是消费者问题，欢迎任何想法。 提前致谢

Answer 1

如果Offset + lag = logSize，则可以。 滞后可能会根据您的消费者的消费率而增加或减少，并逐渐减少。 您应该检查使用者为什么中间变慢。通常在使用者执行某些操作然后确认消息后发生。 我们在风暴中使用kafka，并且在某些下游（例如持久性）花费时间时面临类似的问题。