如果自動提交的發生頻率低於輪詢，Kafka 消費者如何跟蹤已處理的消息？
[英]How does a Kafka Consumer keep track of processed messages if auto commit happen less often than poll?
問題描述
因此，如果 Kafka Consumer 啟用了自動提交且提交間隔為 5 秒，並且我們每 1 秒消耗一次批次......
... 消費者會在自動提交完成之前多次處理消息嗎？
1 個解決方案
解決方案1
1 已采納 2023-01-05 00:03:34
如果您將批處理標記為已處理，它將每 5 秒提交一次集群中的分區。 消費者發出下一批輪詢以獲取下一組消息，因此它將從下一個偏移量開始。 除非發生錯誤，否則不太可能再次收到同一批消息。
加入Redpanda 的社區 slack 頻道以獲得核心工程師的更多幫助:)
如何輪詢 kafka 以獲取時間戳小於 30 秒的消息？
[英]How to poll kafka for the messages that has timestamp less than 30 seconds?
Kafka 消費者輪詢機制與 enable.auto.commit = false
[英]Kafka consumer poll mechanism with enable.auto.commit = false
當剩余的記錄超過“max.poll.records”時，Kafka 如何決定消費者輪詢循環中包含哪些記錄？
[英]How does Kafka decide which records are contained in the consumer poll loop when there are more than `max.poll.records` records left?
為什么 Kafka Consumer 不斷收到相同的消息（偏移量）
[英]Why does Kafka Consumer keep receiving the same messages (offset)
Kafka enable.auto.commit設置為false，但輪詢仍會獲取“下一個”消息
[英]Kafka enable.auto.commit set to false but poll still fetch “next” messages
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
kafka 消費者自動提交如何工作？
如何輪詢 kafka 以獲取時間戳小於 30 秒的消息？
Kafka 消費者輪詢機制與 enable.auto.commit = false
Kafka Consumer 使用 python 輪詢消息
當剩余的記錄超過“max.poll.records”時，Kafka 如何決定消費者輪詢循環中包含哪些記錄？
Python Kafka使用者缺少輪詢某些消息
消費者如何在 Kafka 中提交偏移量？
Kafka消費者如何選擇接下來要投票的主題？
為什么 Kafka Consumer 不斷收到相同的消息（偏移量）
Kafka enable.auto.commit設置為false，但輪詢仍會獲取“下一個”消息
相關標簽