如何在kafka的__consumer_offsets主題上訪問和提交偏移量？
[英]how to access and commit offsets on __consumer_offsets topic of kafka?
問題描述
根據Kafka文檔
當偏移管理器收到OffsetCommitRequest時，它會將請求附加到名為__consumer_offsets的特殊壓縮Kafka主題
我們可以直接以編程方式訪問它嗎？ 使用Kafka Tool 1.0 Beta 2，我可以看到__consumer_offets主題和許多分區，只有一個分區有數據。 無法理解如何在其中創建分區以及為什么只有一個分區有數據。
現在我還能如何在這個主題的特定分區上提交？
1 個解決方案
解決方案1
4 2015-10-15 15:09:22
__consumer_offsets主題的布局和內容是Kafka實現細節，您不應嘗試直接訪問它。 而是使用此處描述的ConsumerMetadata，OffsetCommit和OffsetFetch API請求： https ：//cwiki.apache.org/confluence/display/KAFKA/A+Guide+To+The+Kafka+Protocol#AGuideToTheKafkaProtocol-OffsetCommit/FetchAPI
__consumer_offsets 主題在使用 zookeeper 和 bootstrap-server 進行描述時顯示不同的配置
[英]__consumer_offsets topic showing different configuration when describe with zookeeper and bootstrap-server
Kafka 新消費者：（重新）設置和提交偏移量，使用分配而不是訂閱
[英]Kafka new consumer: (re)set and commit offsets with using assign, not subscribe
消費者閱讀 __consumer_offsets 傳遞不可讀的消息
[英]consumer reading __consumer_offsets delivers unreadable message
Kafka Spring 消費者偏移量未使用 ConsumerRecordRecoverer 提交
[英]Kafka Spring consumer offsets are not committed with ConsumerRecordRecoverer
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何使用Camel-kafka提交消費者抵消？
__consumer_offsets 主題在使用 zookeeper 和 bootstrap-server 進行描述時顯示不同的配置
Kafka如何為每個主題存儲偏移量？
Kafka 新消費者：（重新）設置和提交偏移量，使用分配而不是訂閱
消費者閱讀 __consumer_offsets 傳遞不可讀的消息
Kafka 0.9新的消費者api —如何僅觀察消費者抵銷
在Java中手動提交Kafka偏移量
在 Spark Executors 上向 Kafka 提交偏移量
Kafka Spring 消費者偏移量未使用 ConsumerRecordRecoverer 提交
Spring Kafka Consumer 跳過一些偏移量
相關標簽