[英]How to find out maximum offset value for a particular kafka topic in CDH kerborised cluster
我有一個使用 Kerberos 的 41 個節點的 CDH 集群,其中 28 個節點安裝了 Kafka。
我想找出特定 Kafka 主題的最大偏移值。
我正在使用以下命令,但它不起作用。 (注意:使用kafka-run-class.sh
的選項不適用於 CDH)
./kafka-consumer-groups.sh \
--command-config /home/username/client.properties \
--group examplehost1:9092,examplehost2:9092,<many more>, examplehost41:9092 \
--topic roc-parse-7485 \
--zookeeper examplezookeperhost1:2181,examplezookeperhost2:2181,examplezookeperhost3:2181
您的問題可能是因為您在group
參數中配置了代理。 --group
應該是您要跟蹤的組名。
不過,您可以使用 GetOffsetShell - 它為您提供每個主題分區的最新偏移量。
您可以在此處找到更多信息: GetOffsetShell
你應該像這樣使用它:
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list BROKER_LISTS --partitions
PARTITIONS_LIST --topic TOPIC_NAME
在你的情況下:
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list rahdpapp00.tt-tim.tr:9092,rahdpapp01.tt-tim.tr:9092,rahdpapp02.tt-tim.tr:9092,rahdpapp03.tt-tim.tr:9092,rahdpapp04.tt-tim.tr:9092,rahdpapp05.tt-tim.tr:9092,rahdpapp06.tt-tim.tr:9092,rahdpapp07.tt-tim.tr:9092,rahdpdtp00.tt-tim.tr:9092,rahdpdtp01.tt-tim.tr:9092,rahdpdtp02.tt-tim.tr:9092,rahdpdtp03.tt-tim.tr:9092,rahdpdtp04.tt-tim.tr:9092,rahdpdtp05.tt-tim.tr:9092,rahdpdtp06.tt-tim.tr:9092,rahdpdtp07.tt-tim.tr:9092,rahdpdtp08.tt-tim.tr:9092,rahdpdtp09.tt-tim.tr:9092,rahdpdtp10.tt-tim.tr:9092,rahdpdtp11.tt-tim.tr:9092,rahdpdtp12.tt-tim.tr:9092,rahdpdtp13.tt-tim.tr:9092,rahdpmp00.tt-tim.tr:9092,rahdpmp01.tt-tim.tr:9092,rahdpmp02.tt-tim.tr:9092,rahdppmp00.tt-tim.tr:9092,rahdppmp01.tt-tim.tr:9092, rahdppmp02.tt-tim.tr:9092
--partitions 2,1,0 --topic roc-parse-7485
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.