Apache Kafka：如何找出主題的消費者群體？

Question

我正在使用 Scala 中的 Spark 流處理 Kafka。 我需要從多個主題中獲取消息。 為此，我需要輸入每個主題的消費者組。

我嘗試過以下命令：

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group group_name

為此，我需要提及消費者組並檢查我的主題是否屬於該組。 但我不知道某些主題的消費群體價值。

那么，是否有任何命令或編程方式來查找給定主題的消費者組？

對此的任何幫助將不勝感激。 謝謝

Answer 1

您可以通過指定主題從各種主題中讀取數據。 您可以簡單地創建一個主題地圖。 請參考以下鏈接

https://www.tutorialspoint.com/apache_kafka/apache_kafka_consumer_group_example.htm

Answer 2

kafka 沒有提供命令/API 來列出從指定主題消費的消費者組。 相反，您可以使用 yahoo 開發的工具來管理 kafka 集群： Yahoo Kafka Manager 。 安裝完這個軟件，將yahoo kafka manager 指向你的kafka集群后，就可以查看從指定topic消費的consumer group了。

Answer 3

for i in `kafka-consumer-groups --list --bootstrap-server localhost:9092`; do echo $i; (kafka-consumer-groups --describe --bootstrap-server localhost:9092 --group $i 2>&1| grep mytopic); done

這需要一些時間，因為它會檢查所有主題，但會告訴哪些消費者群體使用該主題。