spring boot中如何從Mongodb讀取采集數據並定期發布到kafka topic

Question

我需要定期讀取我的 mongo DB 表數據並使用 Spring Boot 將其發布到 Kafka 主題中。 我在 Mongo DB 中創建了一個集合，並在 Mongo DB 中插入了一些記錄。 此外，我想定期從 Mongo DB 讀取數據，並需要使用 Spring Boot 在 Kafka 的主題中發布這些表數據。 我對 spring 批處理調度程序很陌生。 你能建議我一個想法來實現這一目標嗎？

提前致謝。

Answer 1

您所說的與 Spring Integration 更相關： https : //spring.io/projects/spring-integration#overview

因此，您使用Poller配置MongoDbMessageSource以定期讀取集合。 然后你有基於KafkaProducerMessageHandler服務激活KafkaProducerMessageHandler來將數據放入 Kafka 主題中。

在文檔中查看更多信息：

https://docs.spring.io/spring-integration/docs/5.3.2.RELEASE/reference/html/mongodb.html#mongodb

https://docs.spring.io/spring-integration/docs/5.4.0-M3/reference/html/kafka.html#kafka

不確定如何使用 Spring Batch 做到這一點......