Kafka 消费者未获取所有消息

Question

每当在 Kafka 中创建新主题时，我都试图启动动态消费者，但动态启动的消费者总是缺少开始/第一条消息，但从那里开始消费消息。 我正在使用 kafka-python 模块并使用更新的 KafkaConsumer 和 KafkaProducer。

生产者的代码是

producer = KafkaProducer(bootstrap_servers='localhost:9092')
record_metadata = producer.send(topic, data)

消费者的代码是

consumer = KafkaConsumer(topic,group_id="abc",bootstrap_servers='localhost:9092',auto_offset_reset='earliest')

请提出一些建议来解决这个问题或我必须包含在我的生产者和消费者实例中的任何配置。

Answer 1

您可以将 auto_offset_reset 设置为最早吗？

创建新的消费者流时，它从最新的偏移量（这是 auto_offset_reset 的默认值）开始，您将错过消费者未启动时发送的消息。

你可以在kafka python doc 中阅读它。 相关部分如下

auto_offset_reset (str) – 用于在 OffsetOutOfRange 错误上重置偏移量的策略：“earliest”将移至最旧的可用消息，“latest”将移至最新。 任何其他值都会引发异常。 默认值：'最新'。