Spring使用单线程池并发处理多个队列

Question

我有一个应该处理和存储套接字传入数据的 spring 应用程序，因为瓶颈问题，这应该用多线程来完成。

传入的数据属于许多实体，每个实体任务应该串行处理，但我认为为每个实体分配一个线程并不是一个好的解决方案（数千个单线程来处理每个实体的队列）

那么如何定义一个公共ThreadPool来使用票价算法处理所有实体的队列呢？

Answer 1

您已经描述了使用消息驱动架构解决的完美问题。

Spring Integration 是为您提供此功能的模块。

您可以构建您的任务服务并使用 @ServiceActivator 进行注释，并使用 Channels 创建您的链。

通道可以选择在不同的线程池上执行，并且可以通过通道上的队列设置来克服由于尖峰负载引起的瓶颈。

绝对值得一试查看 Spring Integration 的文档。

Answer 2

您可以使用Project reactor或RxJava按组拆分传入的消息流，并按顺序处理每个组中的事件。

使用 Project Reactor，您的代码可能如下所示：

    Scheduler groupScheduler = Schedulers.newParallel("groupByPool", 16);
    Flux.fromStream(incomingMessages()) // stream of new data from socket
            .groupBy(Message::getEntityId) // split incoming messages by groups, which should be processed serially
            .map(g -> g.publishOn(groupScheduler)) //create new publisher for groups of messages
            .subscribe( //create consumer for main stream
                    stream ->
                            stream.subscribe(this::processMessage) // create consumer for group stream and process messagaes
            );