卡夫卡消費者中的重復問題

Question

在分區 0 上測試一條 Kafka 消息，處理過程需要一個多小時。 我已經嘗試過自動提交、暫停/恢復、增加最大輪詢超時但是我無法停止消費者消息復制。 這是使用 python 的融合卡夫卡。我沒有看到一種方法來試驗異步/同步提交。

        msg= self.consumer.poll(timeout=1.0)
            if msg:
                self.consumer.pause()
                some task.. (takes ~60 minutes minutes)
                self.consumer.resume()
        except Exception as e:
            logger.error(..)

建議？

Answer 1

聽起來您的消費者正在重新平衡，導致您重新處理數據。 如果您至少獲得一次交付，您可以從消費者那里做很多事情來防止重復。

您應該更新您的任務以通過某些標識符從外部查找數據，從而忽略重復項。