kafka 消費者組可以在重新平衡期間凍結嗎

Question

Kafka 消費者組的滾動部署是否會導致該組凍結？

所以讓我們考慮一下這個場景，

1. 我們開始滾動部署
2. 一位消費者離開了群組
3. Kafka 注意到這一點並觸發重新平衡（因此消費停止）
4. 重新平衡發生了，但很快就有新的消費者想要加入
5. 另一個消費者也離開了
6. 再次發生新的重新平衡
7. （循環直到部署完成）

因此，如果您有一個足夠大的集群，並且在一台機器上完成部署需要一些時間（通常是這種情況），這會導致消耗完全凍結嗎？

如果是，在生產中進行消費者組更新的策略是什么

Answer 1

是的，這絕對有可能。 最近進行了許多改進，以減少此類事件期間的停機時間。 我建議啟用一項或兩項或以下功能：

靜態成員資格是在 2.3 中添加的，可以防止在組的已知成員被退回時發生重新平衡。 這要求客戶端和代理都在 2.3+ 版本上

增量合作重新平衡使組能夠更快地重新平衡，並允許個人成員在重新平衡期間繼續消費。 在滾動部署期間，您仍會看到重新平衡，但它們不會導致在持續時間內完全凍結消耗。 這完全是客戶端，因此它可以與任何經紀人一起使用，但您的客戶端應該使用 2.5.1+ 版本