metrics.num.samples kafka 設置如何影響 records-lag-max 的計算方式？

Question

通過 kafka 消費者 API 檢索消費者指標時，即使使用 kafka-consumer-groups.sh 工具描述消費者組顯示消費者滯后，records-lag-max 偶爾也會返回 0。 metrics.sample.window.ms 默認設置為 30s，metrics.num.samples 默認設置為 2。 metrics.num.samples 如何影響records-lag-max 的計算？

Answer 1

我不認為它有任何影響。

records-lag-* 由 fetch 響應結構的 latest-offset 字段驅動，它告訴客戶端分區的“邊緣”在代理上的位置。 然后，客戶端將該偏移量與實際獲取響應中返回的最新偏移量進行比較，以確定它在代理“后面”有多少條記錄。

每次從代理收到獲取響應時，這些指標都會更新，如果您在任何此類獲取響應到達之前查詢它們，您可能會看到 0。

另一方面，kafka-consumer-groups 不會向您顯示任何特定消費者“在哪里”（交付給該消費者的最新偏移量），而是該消費者上次檢查點到 kafka 的偏移量。 消費者檢查點定期偏移（通常每 30-60 秒一次），因此描述消費者組可以顯示非 0 滯后，而消費者本身的指標（更新更頻繁）將顯示 0。