用kafka进行Spring Boot分布式处理

Question

我有一些使用Spring Boot开发的应用程序。 一些应用程序调用另一个应用程序，而及时调用其他应用程序，则变得越来越难以管理和扩展。 我需要能够在网络中分发它们，并且还要将应用程序以不同的“流程”结合到最小的应用程序更改中。

理想情况下，我想包装这些应用程序并将其抽象为具有N个输入和M个输出的组件。 在启动时，我将使用一些配置将输入和输出连接到实际的kafka主题队列。 例如，一个应用程序的输入A可以来自多个kafka主题队列，而同一应用程序的输出B可以到达其他的kafka主题队列。

我希望能够更改队列而无需重新编译应用程序，也无需额外的网络跃点来发送/从多个队列接收/接收，这应该在相同的过程中进行并且是多线程的。

有人知道是否已经存在类似的东西？ Spring集成可以做到吗？ 阿帕奇骆驼？ 还是我最好自己写？

Answer 1

有关Apache Kafka的信息，请参见Spring 。 在spring-kafka的顶部还有一个spring-integration-kafka扩展。

用于Apache Kafka的Spring（ spring-kafka ）项目将Spring的核心概念应用于基于Kafka的消息传递解决方案的开发。 它提供了一个“模板”作为发送消息的高级抽象。 它还使用@KafkaListener批注和“侦听器容器”来支持消息驱动的POJO。 这些库促进了依赖注入和声明式的使用。 在所有这些情况下，您将看到与Spring框架中的JMS支持和Spring AMQP中的RabbitMQ支持相似。