spring boot中如何从Mongodb读取采集数据并定期发布到kafka topic

Question

我需要定期读取我的 mongo DB 表数据并使用 Spring Boot 将其发布到 Kafka 主题中。 我在 Mongo DB 中创建了一个集合，并在 Mongo DB 中插入了一些记录。 此外，我想定期从 Mongo DB 读取数据，并需要使用 Spring Boot 在 Kafka 的主题中发布这些表数据。 我对 spring 批处理调度程序很陌生。 你能建议我一个想法来实现这一目标吗？

提前致谢。

Answer 1

您所说的与 Spring Integration 更相关： https : //spring.io/projects/spring-integration#overview

因此，您使用Poller配置MongoDbMessageSource以定期读取集合。 然后你有基于KafkaProducerMessageHandler服务激活KafkaProducerMessageHandler来将数据放入 Kafka 主题中。

在文档中查看更多信息：

https://docs.spring.io/spring-integration/docs/5.3.2.RELEASE/reference/html/mongodb.html#mongodb

https://docs.spring.io/spring-integration/docs/5.4.0-M3/reference/html/kafka.html#kafka

不确定如何使用 Spring Batch 做到这一点......