metrics.num.samples kafka 设置如何影响 records-lag-max 的计算方式？

Question

通过 kafka 消费者 API 检索消费者指标时，即使使用 kafka-consumer-groups.sh 工具描述消费者组显示消费者滞后，records-lag-max 偶尔也会返回 0。 metrics.sample.window.ms 默认设置为 30s，metrics.num.samples 默认设置为 2。 metrics.num.samples 如何影响records-lag-max 的计算？

Answer 1

我不认为它有任何影响。

records-lag-* 由 fetch 响应结构的 latest-offset 字段驱动，它告诉客户端分区的“边缘”在代理上的位置。 然后，客户端将该偏移量与实际获取响应中返回的最新偏移量进行比较，以确定它在代理“后面”有多少条记录。

每次从代理收到获取响应时，这些指标都会更新，如果您在任何此类获取响应到达之前查询它们，您可能会看到 0。

另一方面，kafka-consumer-groups 不会向您显示任何特定消费者“在哪里”（交付给该消费者的最新偏移量），而是该消费者上次检查点到 kafka 的偏移量。 消费者检查点定期偏移（通常每 30-60 秒一次），因此描述消费者组可以显示非 0 滞后，而消费者本身的指标（更新更频繁）将显示 0。