將Kafka主題的線索設置為-1

Question

我正在使用Spark流在集群上使用kfka主題。 我將重新啟動流應用程序，並想再次閱讀主題。

有沒有辦法重置集群上的kafka主題線索？

當我描述主題時，我得到以下描述：

Topic:mahditest PartitionCount:3        ReplicationFactor:2     Configs:
        Topic: mahditest        Partition: 0    Leader: 1020    Replicas: 1020,1019     Isr: 1020,1019

但我需要針對每個主題將潛在客戶的響應數設為-1，這樣我才能重新閱讀郵件。

Answer 1

取決於您存儲偏移的位置，但是如果您使用新的使用者API將其存儲在Kafka中，則在Kafka 0.11中，如果運行，則可以重置任何Kafka使用者的偏移（存儲在__consumer_offsets主題中）

$ kafka-consumer-groups.sh --bootstrap-server localhost：9092 --topic mahditest --group yourconsumer --reset-offsets --toest最早--execute

您應該在運行reset offsets命令之前關閉組中的所有使用者。

此命令的0.11版本也應該可以在0.10.2集群上重置偏移量