Kafka - 具有特定偏移量的消費者群體創建？

Question

在Kafka中創建主題后，只需嘗試使用這些組從主題中讀取即可創建任意數量的使用者組。

我想創建一個額外的消費者組來監控真實消費者群體的消息內容 - 一個用於查看他們的消息。 因此，GUI將允許您單擊任何消費者組的“窺視”，並且“peeker”組將其偏移量更新為受監視組的偏移量，然后它將顯示來自該偏移量的消息。

我很困惑，因為你不能第一次明確創建一個消費者群體; 您似乎必須閱讀消息以獲取在zookeeper中創建的偏移節點。

我的問題

有沒有辦法顯式創建指向特定偏移量的使用者組，或者是否可以手動為尚未使用的使用者組創建zookeeper節點，以便將其初始化為正確的偏移值？ 或者這種自動創建會破壞消費者群體分配流程？

Answer 1

對於讀者，不再支持Kafka Web控制台。 請考慮使用Kafka Manager 。

Answer 2

您可以查看Kafka Web控制台項目，該項目已經執行了與您描述的類似的操作。

如果您想自己執行此操作，則需要使用簡單的使用者API並手動處理新的使用者組（存儲在Zookeeper或其他位置）的偏移量。 您可以從現有的使用者組中獲取當前偏移量，然后使用相同的偏移量讀取消息。 只要組ID不同，它們就不應相互干擾或混亂。

Answer 3

如上所述， Kafka Manager有一個非常好的界面，非常值得您花時間進行設置。 但是，如果你想要CLI版本，我需要，下面應該工作：

groupId="legitGroupId"
kafka="localhost:9092"
declare -a topics=(
    "topic1" 
    "topic2"
    )

# Create a single consumer of all the topics which starts starts at each topics latest offset
# Use --dry-run instead of --execute to see how the end results will look
for topic in "${topics[@]}"; do
    echo "Adding consumer to $topic"
    kafka-consumer-groups --bootstrap-server $kafka --topic $topic --group $groupId --execute --reset-offsets --to-latest
    echo ""
done