将Kafka主题的线索设置为-1

Question

我正在使用Spark流在集群上使用kfka主题。 我将重新启动流应用程序，并想再次阅读主题。

有没有办法重置集群上的kafka主题线索？

当我描述主题时，我得到以下描述：

Topic:mahditest PartitionCount:3        ReplicationFactor:2     Configs:
        Topic: mahditest        Partition: 0    Leader: 1020    Replicas: 1020,1019     Isr: 1020,1019

但我需要针对每个主题将潜在客户的响应数设为-1，这样我才能重新阅读邮件。

Answer 1

取决于您存储偏移的位置，但是如果您使用新的使用者API将其存储在Kafka中，则在Kafka 0.11中，如果运行，则可以重置任何Kafka使用者的偏移（存储在__consumer_offsets主题中）

$ kafka-consumer-groups.sh --bootstrap-server localhost：9092 --topic mahditest --group yourconsumer --reset-offsets --toest最早--execute

您应该在运行reset offsets命令之前关闭组中的所有使用者。

此命令的0.11版本也应该可以在0.10.2集群上重置偏移量