Kafka使用者在處理之后但在提交偏移之前崩潰了嗎？

Question

我正在與Kafka進行一些POC工作，並且正在使用事務性API研究一次功能，但仍然會遇到一些問題。 如果使用者在處理消息之后但在提交偏移之前崩潰了，該怎么辦？ 下一輪運行似乎不可避免地從錯誤的消息開始，並且重復的消息將通過。 如何處理這種情況？

Answer 1

如果使用者在處理消息之后但在提交偏移之前崩潰了，該怎么辦？

Kafka：權威指南提到了一個選項，如果消息處理涉及將消息寫入數據庫，我們也可以將處理后的偏移量寫入數據庫，並在恢復階段通過尋找（seek（））到該偏移量來使用該偏移量。我們想從卡夫卡投票。

就是說，您可以在每個消息中都有一個唯一的標識符，以便使用者可以檢查消息是否已被處理過。 （重復處理）應始終在使用者代碼中實現。