在Java代碼中檢查Kafka消費者組的活躍性

Question

我已經使用執行程序服務為Kafka消費者編寫了Java代碼，該服務將以24/7的速度運行並使用數據並對其進行處理。

但是在某些情況下，例如由於Kafka協調器代理節點發生故障，工作將失敗，即，消費者組將死掉，而我將不知道它，並且Java jar將運行但不執行任何操作。

 INFO [2018-11-07 03:25:58,425] [pool-1-thread-1] (AbstractCoordinator.java:coordinatorDead) - Marking the coordinator broker_host (id: 2147483446 rack: null) dead for group group_name
 INFO [2018-11-07 03:26:10,817] [pool-1-thread-1] (AbstractCoordinator.java:onSuccess) - Discovered coordinator broker_host (id: 2147483446 rack: null) for group group_name.

我想定期檢查Java代碼中的Kafka消費者活動情況。 因此，如果卡夫卡消費群體死亡，我將能夠使其生存或觸發郵件並殺死工作。

任何人都可以對此提供任何輸入。

Answer 1

如果充當您的消費組協調員的經紀人掉線，則該組中的每個消費者都將找到剩余的經紀人成為其組的新協調員。 這種情況對您的團隊不會致命。

但是，監視消費者群體仍然是很常見的事情，以跟蹤​​滯后，根據需要擴大/縮小規模或僅確保一項重要工作正在運行！

最簡單的方法是使用AdminClient API，尤其是：

• describeConsumerGroups() ：這列出了組的成員和總體狀態
• listConsumerGroupOffsets() ：這列出了當前的偏移量

或者，您可以運行kafka-consumer-groups.sh工具來檢索有關組的詳細信息。 顯示當前位置，滯后和客戶ID或成員。