RabbitMQ-Basic_qos函数以及如何使其最大化

Question

我一直在使用RabbitMQ来构建分布式Web搜寻器。 到目前为止，我一直在使用此函数，以便每个函数一次仅收到1个请求。

channel.basic_qos(prefetch_count=1)

据我了解，无论通道有多少个队列，它总是一次只能处理1条消息。

有没有一种方法可以最大化一次处理的消息数量？ 我不想将此prefetch_count设为静态，而是想在给定的时间处理尽可能多的消息。

Answer 1

如果您不指定预取（qos），那么RabbitMQ将向用户发送连接可以处理的尽可能多的消息。 因此，根本不要调用basic_qos。

为了最大程度地提高连接的吞吐量，请不要为每个消息发送一个ack，而是将basic_ack与multiple = true一起使用，并一次确认大批消息。

这带有风险。 如果连接中断，则将重新发送大量邮件，并且如果批量处理ack，还将重新处理大量邮件。 但是，如果您的使用者是网络爬虫，则可能发生的最糟糕的情况是它两次爬网一个网站或页面，所以没什么大不了的。