Spring和Rabbit MQ消息顺序

Question

我正在开发一个应用程序，该应用程序接收按会话ID分组的剩余消息（会话1可以由2条消息组成，会话2可以由10条消息组成）并将它们发送到数据库。 给定会话的消息内部具有相同的会话ID。

对于给定的会话，应该将第1条消息首先发送到数据库，然后再发送2条消息，依此类推。在会话内部，顺序非常重要。

会话的顺序并不重要，我们可以混合使用它们的消息，例如，可以按此顺序将消息发送到数据库：

• 会话A消息1
• 会话B消息1
• 会话A消息2
• 会话C消息1
• 会话B消息2
• 会话A消息3
• 会话C消息2

我创建了10个Rabbitmq队列。 应用程序选择有关会话ID的队列：来自给定会话的所有消息都在同一队列中。

每个队列有1个使用者，因此可以保证同一队列中的订单。

出于性能原因（和流量增长），我们必须设置更高的队列数（由节点创建100个队列）或部署应用程序的其他实例（10个节点在每个队列上有1个使用者，因此每个队列10个使用者） 。

设置较高的队列数量并不困难，但是我的做法有点丑陋并且有代码重复（请参见下文）。 我需要改善它的建议（并且今天我们需要1000个队列）。

如果我们部署10个节点而不是1个节点，那么每个队列将有10个使用者，并且队列中消息的顺序将无法得到保证（因此，会话A的消息2可以在会话A的msg 1之前发送到数据库）。

首选解决方案是10个节点，因为我们可以使其动态化，并且可以在需要时在docker中启动/停止节点。

这是我使用的依赖项：

    <dependency>
        <groupId>org.springframework.amqp</groupId>
        <artifactId>spring-amqp</artifactId>
        <version>1.6.3.RELEASE</version>
    </dependency>
    <dependency>
        <groupId>org.springframework.amqp</groupId>
        <artifactId>spring-rabbit</artifactId>
        <version>1.6.3.RELEASE</version>
    </dependency>

这是兔子的配置：

@Bean
public SimpleRabbitListenerContainerFactory myRabbitListenerContainerFactory() {
    SimpleRabbitListenerContainerFactory factory = new SimpleRabbitListenerContainerFactory();
    factory.setConnectionFactory(connectionFactory());
    factory.setPrefetchCount(50);
    factory.setAcknowledgeMode(AcknowledgeMode.AUTO);
    return factory;
}
@Bean
public ConnectionFactory connectionFactory() {
    String addresses = "address1,address2";
    com.rabbitmq.client.ConnectionFactory rabbitConnection = new com.rabbitmq.client.ConnectionFactory();
    rabbitConnection.setAutomaticRecoveryEnabled(true);
    rabbitConnection.setUsername("username");
    rabbitConnection.setPassword("password");
    rabbitConnection.setVirtualHost("virtualHost");
    CachingConnectionFactory connectionFactory = new CachingConnectionFactory(rabbitConnection);
    connectionFactory.setPublisherConfirms(true);
    connectionFactory.setAddresses(addresses);
    connectionFactory.setChannelCacheSize(100);
    return connectionFactory;
}

目前，我有10个使用10个类创建的队列。 这是一个队列示例：

@Component
@RabbitListener(containerFactory = "myRabbitListenerContainerFactory", bindings = @QueueBinding(value = @Queue(value = "queue2", durable = "true"), exchange = @Exchange(type = "topic", value = "exchange2", durable = "true"), key = "key2"))
public class QueueGroup2Listener {
    @RabbitHandler
    public void processOrder(RequestMessage received) throws DataAccessResourceFailureException {
        process(received);
    }
}

我没有找到比在注释中使用不同值（从1到10）创建该类的10倍更好的方法。

问题是：如何在队列中添加使用者，并保证给定会话中消息的顺序？ 我的意思是队列中有10个消费者。 使用者A使用会话A的消息1，因此其他使用者不应使用会话A的其他消息。

额外的问题是：如何使每个队列的队列创建效果优于1个类？

非常感谢

UPDATE

这个问题的答案可能对我有很大帮助RabbitMQ：在Direct Exchange中创建动态队列 ：我可以为每个会话创建一个队列（在这种情况下，下一个问题是Rabbitmq可以同时管理多少个队列？）

加里回答后的更新

感谢您的答复，我尝试了以下操作，但是该应用程序对于启动消费者非常漫长：

@Bean
public QueueMessageListener listener() {
    return new QueueMessageListener();
}


@Bean(name="exchange")
public Exchange exchange() {
    TopicExchange exchange = new TopicExchange(EXCHANGE, true, false);
    SimpleMessageListenerContainer container = new SimpleMessageListenerContainer(connectionFactory());
    MessageListenerAdapter adapter = new MessageListenerAdapter(listener(), "processOrder");
    container.setMessageListener(adapter);
    admin().declareExchange(exchange);
    createQueues(exchange, QUEUE, numberOfQueues, BINDING_KEY, container, null, true);
    container.start();  // very very very long 
    return exchange;
}

private void createQueues(Exchange exchange, String queuePrefix, int numberOfQueues, String bindingPrefix,
        SimpleMessageListenerContainer container, Map<String, Object> args) {
    int length = 1;
    if(numberOfQueues > 1) {
        length = (int)(Math.log10(numberOfQueues - 1) + 1);
    }
    for (int i = 0; i < numberOfQueues; i++) {
        Queue queue = new Queue(queuePrefix + String.format("%0" + length + "d", i), true, false, false, args);
        container.addQueues(queue);
        admin().declareQueue(queue);
        Binding binding = BindingBuilder.bind(queue).to(exchange).with(bindingPrefix + i).noargs();
        admin().declareBinding(binding);
    }
}

如果我不调用start函数，则不会创建使用者。

Answer 1

您可以以编程方式启动SimpleMessageListenerContainer而不是使用声明性范例。

您还可以使用RabbitAdmin以编程方式声明队列，绑定等。

请参阅配置代理 。

由于Spring AMQP缓存通道，因此无法保证在同一通道上会发生两次发送（这会导致丢失订单的可能性很小）； 为了确保顺序，您需要在即将发布的2.0版本中使用新的RabbitTemplate.invoke()方法。 它将在同一通道上的调用范围内执行发送，因此可以保证顺序。

如果您的发送代码是单线程的，这不是问题，因为在这种情况下将始终使用相同的通道。