Kafka中的獨立生產者使用Spring Boot和負載均衡器

Question

我已經從Confluent安裝了Apache Kafka（帶有rest-api和schema-registry）。 我使用spring-boot和spring-kafka實現了生產者（每個事件在數據庫觸發器中都生成了uuid）。 現在我想將其作為多個實例運行-但是在kafka中省略重復項的正確方法是什么？ 如果我在負載均衡器后面只有很少的spring-boot實例，並且每個實例都有使用相同的生成的uuid進行的事件，那么如何只向kafka發送一個實例？ 我可以在春季生成uuid，但事件的內容仍將相同，並且沒有必要從每個實例發送它（數據庫的觸發器無論如何都會將內容發送給每個生產者）。

Answer 1

我認為您應該看看Apache Kafka 日志壓縮功能：

日志壓縮至少保留單個主題分區的每個記錄鍵的最后一個已知值。 壓縮日志對於崩潰或系統故障后的狀態恢復很有用。

因此，您的UUID成為記錄鍵，而另一端的使用者只能使用該鍵的一個記錄。