Spring AMQP RabbitMQ如何使两个并行的使用者不会同时抓取相同的任务？

Question

我有两个系统与RabbitMQ集成在一起。

---

背景

客户端从Spring-AMQP出站网关向RabbitMQExchange发送多个请求消息，rabbitmq- DirectExchange将使用循环调度将这些消息分发给多个Worker（这些worker独立于不同的桌面 ，这些桌面将并行运行相同的worker代码以处理不同的消息）通过使用simpleMessageListner从RabbitExchange中获取 。

---

逻辑流程

与Rabbitmq教程multiWorker-DirectExchange相似 。

客户端 ----- sendRequests （5任务）到----> RabbitMQ-DirectExchange

然后Rabbitmq-DirectExchange将这5个任务分配给工作人员PC1（Worker1） ， PC2（Worker2）

---

ExchangeType和我的绑定

 <!-- rabbit connection factory, rabbit template, and rabbit admin --> <rabbit:connection-factory id="connectionFactory" host="local IP address" username="guest" password="guest" channel-cache-size="10" /> <rabbit:template id="amqpTemplate" connection-factory="connectionFactory" reply-timeout="600000" exchange="JobRequestDirectExchange"/> <rabbit:admin connection-factory="connectionFactory" id="rabbitAdmin" /> <rabbit:direct-exchange name="taskRequests" auto-delete="false" durable="true" > <rabbit:bindings> <rabbit:binding queue="jobRequests" key="request.doTask" /> </rabbit:bindings> </rabbit:direct-exchange> <rabbit:queue name="jobRequests" auto-delete="false" durable="true" /> 

---

工人-消费者配置

 <rabbit:listener-container id="workerContainer" acknowledge="auto" prefetch="1" connection-factory="connectionFactory"> <rabbit:listener ref="taskWorker" queue-names="jobRequests" /> </rabbit:listener-container> 

Worker Class是简单的POJO，它将处理请求并完成任务。

---

使用：带有Spring-Integration-Amqp 2.2的 RabbitMQ 3.2.2

---

我期望什么

我希望Worker1可以接收某些任务，而Worker2可以选择其余任务（其他任务）。

我希望工人可以并行完成全部5项任务。 每次每个工人只执行一项任务，完成后将被一个接一个地分配另一个任务。 （ Rabbit-listner已设置为prefetch = 1 ）

如

worker1：t2 t3 t5

worker2：t1 t4

但

经过大量的运行时测试后，有时它可以正确完成任务。

Worker1 ------ task4 task1

Worker2 ------ task3 task2 task5

有时它会以这样的错误方式运行：

Worker1 ------ task4 task1

Worker2 ------ task4 task2 task1

显然，task4和task1由worker1和worker2同时选择。

---

运行时测试：

我检查了客户端 是否向RabbitExchange 正确发送了task1 task2 task3 task4 task5请求消息。 但是每次每个工人接受不同的任务。 在一种常见情况下，可能会触发错误的干扰。

RabbitmqExchange有5个任务（t1，t2，t3，t4，t5） ，它们将被发送给2个并行工作器（w1，w2） 。

w1有任务： t2 t1 t4

w2有任务： t3 t1

作为循环调度方法，w1和w2依次获得任务。

w1得到t2 ， w2得到t3 。

当t2和t3运行时，RabbitmqExchange将t1发送到w1并等待来自w1的确认。

假设t2比t3花费更多的时间来完成任务，而w1做t1时w2空闲。

w2完成t3任务将收到RabbitmqExchange调度的t1，因为w2不忙，并且RabbitExchange没有收到t1完成任务ack消息。

我的理解是

w1和w2都执行相同的任务t1 。 t1完成后，其中之一将向ack发送回ack到RabbitmqExchange，然后RabbitmqExchange将出队一个任务消息。 由于t1已完成两次 ，因此RabbitmqExchange使应该发送的另一条消息出队。 因此，由于t1已执行两次，因此t5消息已出队。 尽管在RabbitmqExchange中有5条消息被确认并出队完成。 但是有两个工人失踪了，所以他们做了t5和t1两次。

---

我该怎么做才能防止两个并行的工作人员从同一Rabbit队列中提取相同的消息？

我尝试了自动确认方式，消息已正确确认。 但是在服务器等待工作人员确认的时间内，rabbitmq可能会重新分发未确认但已经分发给另一工作人员的消息。

还考虑同步已发送的消息或优先发送的消息。 但是没有明确的愿景如何完成。

我很高兴听到关于这个问题的任何想法。

Answer 1

我可以想到的是，导致消费者重复使用此消息的一件事是，消费者在发送确认消息之前关闭了通道。

在这种情况下，RabbitMQ代理将重新排队该消息并将其重新传递标志设置为true 。 来自RabbitMQ docs ：

如果消息传递给使用者，然后重新排队（例如，因为在断开消费者连接之前未得到确认），那么RabbitMQ将在再次传递消息时（无论是发给同一消费者还是其他消费者）在其上设置重新传递的标志。 ）。 这暗示着使用者可能之前已经看过此消息（尽管不能保证，但是该消息可能已经使它脱离了代理，但在连接断开之前并未进入使用者）。 相反，如果未设置重新传递的标志，则可以确保该消息之前从未被看到过。 因此，如果消费者发现对消息进行重复数据删除或以幂等方式处理消息更为昂贵，则只能对设置了重新传递标志集的消息进行此操作。

如果在测试时关闭了工作进程之一，然后发送确认，或者万一它们发生故障，则很有可能会发生这种情况。 您可以尝试检查重新传递的标志，以免由其他使用者再次处理它。

我注意到的另一件事是使用者配置中的预取设置。 您应该将此值设置为较高的值（根据需要对其进行调整），而不是仅保留为1。您可以在此处了解有关预取的更多信息。

希望有帮助！

Answer 2

我花了很长时间来设计出实现此功能的SpringConfigured方式，但是失败了。

当我提出使用RabbitMQ Java Client API的可行解决方案时。

将Spring-Asynchronous Gateway与QuartzScheduler一起使用时，根据需要总是存在发送消息的问题。 我猜它有多线程的原因。

一开始，我认为是因为Channel实例可以由多个线程同时访问。 这样，确认信息将无法正确处理。

一个重要的警告是，当在多个线程之间共享Channel时，确认没有正确处理。 因此，在那种情况下，确保Channel实例不会被多个线程同时访问很重要。

以上来自http://www.rabbitmq.com/javadoc/com/rabbitmq/client/Channel.html

最后，我决定放弃使用Spring-way并改回使用RabbitMQ API（在使用Spring XML配置网关/通道之前，现在使用RabbitMQ-JavaClient Java编程方式声明与通道的交换。）。 并添加RabbitMQRPC用于异步回调的用法。 现在，一切都可以满足当前要求。

---

因此，总而言之 ，满足我要求的最终解决方案是：

• 使用RabbitMQ JAVAClient API声明exchange / channels / binding / routingKey。 对于客户端和服务器端。

• 使用RabbitMQ RPC实现异步回调功能。

（我遵循RabbitMQ的Java教程，使用此链接： http : //www.rabbitmq.com/tutorials/tutorial-six-java.html ）

Answer 3

您是否尝试过像这里讨论的那样在侦听器容器上设置parallelConsumers属性？