使用stomp和activemq.prefetchSize = 1进行activemessaging

Question

我遇到的情况是，我有一个带有2个队列Q1和Q2的单个activemq代理。 我有两个使用activemessaging的基于ruby的消费者。 我们称它们为C1和C2。 两个使用者都订阅每个队列。 订阅每个队列时，我将设置activemq.prefetchSize = 1。 我还要设置ack = client。

请考虑以下事件序列：

1）将触发长时间运行的作业的消息发布到队列Q1。 称其为M1。

2）M1被调度到消费者C1，开始了长时间的操作。

3）触发短作业的两条消息被发布到队列Q2。 称这些为M2和M3。

4）M2被分派到C2，后者快速执行短期任务。

5）即使C1仍在运行M1，也将M3调度到C1。 它能够分派到C1，因为在队列订阅（而不是连接）上设置了prefetchSize = 1。 因此，已经发送了Q1消息这一事实并不能阻止一个Q2消息被发送。

由于activemessaging使用者是单线程的，因此最终结果是M3坐在C1上并等待很长时间，直到C1完成对M1的处理。 因此，尽管消费者C2闲置（因为它很快以消息M2结束），但M3长时间没有处理。

本质上，每当运行长Q1作业然后创建大量短Q2作业时，短Q2作业中的一个就卡在消费者身上，等待长Q1作业完成。

有没有办法在连接级别而不是在订阅级别设置prefetchSize？ 我真的不希望在处理M1时将任何消息调度到C1。 另一个选择是，我可以创建一个专用于处理Q1的使用者，然后让其他专用于处理Q2的使用者。 但是，我宁愿不这样做，因为Q1消息很少出现-Q1的专用使用者在一天中的大部分时间里都闲置起来以占用内存。

Answer 1

根据ActiveMQ文档的扩展脚踏标头（ http://activemq.apache.org/stomp.html），activemq.prefetchSize仅在SUBSCRIBE消息上可用，而在CONNECT上不可用。 以下是相关信息：

动词：SUBSCRIBE

标头：activemq.prefetchSize

类型：int

description：指定将分派给客户端的未决消息的最大数量。 一旦达到此最大值，直到客户端确认一条消息后，才分派更多消息。 设置为1可使消息在各个使用者之间非常公平地分布，其中消息的处理速度可能很慢。

我的阅读和经验是，由于尚未确认M1（b / c，您已打开客户端确认），因此此M1应该是订阅上prefetchSize = 1设置所允许的1条消息。 听到它不起作用，我感到很惊讶，但是也许我需要运行更详细的测试。 您的设置应符合您想要的行为。

我听说其他人对activemq调度有些不满意，所以这可能是您使用的版本存在错误。

我的一个建议是要么嗅探网络流量以查看M1是否由于某种原因被确认，要么将一些puts语句放入ruby stomp gem中以观察通信（这通常是我通常在调试踩踏问题）。

如果有机会尝试一下，我将使用自己的结果更新评论。

一个建议：很可能会发送多条长处理消息，并且如果长处理消息的数量超过您的进程数，您将在此修复中等待快速处理消息。

我倾向于至少有一个专门的流程来完成快速的工作，或者换一种说法，是专门奉献一组只能做更长的工作的流程。 无论调度如何执行，让所有轮询器用户进程同时听取长短消息可能最终导致次优结果。 流程组是一种配置使用者以侦听目标子集的方式： http : //code.google.com/p/activemessaging/wiki/Configuration

处理器组名称，* list_of_processors

 A processor group is a way to run the poller to only execute a subset of 

通过在轮询器命令行参数中传递组的名称来处理处理器。

 You specify the name of the processor as its underscored lowercase 

版。 因此，如果您在处理器组中具有FooBarProcessor和BarFooProcessor，它将看起来像这样：

  ActiveMessaging::Gateway.define do |s| ... s.processor_group :my_group, :foo_bar_processor, :bar_foo_processor end The processor group is passed into the poller like the following: ./script/poller start -- process-group=my_group 

Answer 2

我不确定ActiveMessaging是否支持此功能，但是您可以在长处理消息到达时取消订阅其他使用者，然后在处理完之后重新订阅。

它应该给您想要的效果。