Kafka 消費者未獲取所有消息

Question

每當在 Kafka 中創建新主題時，我都試圖啟動動態消費者，但動態啟動的消費者總是缺少開始/第一條消息，但從那里開始消費消息。 我正在使用 kafka-python 模塊並使用更新的 KafkaConsumer 和 KafkaProducer。

生產者的代碼是

producer = KafkaProducer(bootstrap_servers='localhost:9092')
record_metadata = producer.send(topic, data)

消費者的代碼是

consumer = KafkaConsumer(topic,group_id="abc",bootstrap_servers='localhost:9092',auto_offset_reset='earliest')

請提出一些建議來解決這個問題或我必須包含在我的生產者和消費者實例中的任何配置。

Answer 1

您可以將 auto_offset_reset 設置為最早嗎？

創建新的消費者流時，它從最新的偏移量（這是 auto_offset_reset 的默認值）開始，您將錯過消費者未啟動時發送的消息。

你可以在kafka python doc 中閱讀它。 相關部分如下

auto_offset_reset (str) – 用於在 OffsetOutOfRange 錯誤上重置偏移量的策略：“earliest”將移至最舊的可用消息，“latest”將移至最新。 任何其他值都會引發異常。 默認值：'最新'。