有条件的处理和删除多个使用者从MSMQ队列中的消息

Question

我找到了这个相关问题，但是我的情况有些不同。

我有一个ASP.NET应用程序，该应用程序会生成长时间运行的任务，这些任务应由许多后台进程（Windows Services）处理。 大多数任务是相似的，大多数任务执行者都可以处理。 由于客户端应用程序的版本不同（任务由用户生成），某些任务只能由特定版本的任务运行者处理。 Web服务器不了解任务的种类。 它只是使用MSMQ将所有任务发送到同一队列。

如果任务进入队列，则下一个空闲任务运行者应接收该任务，确定他是否可以处理此类任务，将其从队列中删除并运行该任务。

如果收到消息的运行程序无法处理此类任务，则应将消息放回队列，以便其他运行程序可以查看该消息。

我尝试使用事务来实现条件接收，如果任务格式错误，我可以中止接收：

transaction.Begin();
var msg = queue.Receive(TimeSpan.FromSeconds(1000), transaction);
if (CanHandle(msg))
{
    transaction.Commit();
    // handle
}
else
{
    transaction.Abort();
}

似乎可行，但我不知道这是否是首选的方法。

此解决方案的另一个问题是，如果没有其他免费的运行器可以处理此消息，我将一次又一次收到它。

有没有一种方法可以仅使用MSMQ解决此问题？ 整个任务数据已经存储在SQL数据库中。 任务运行程序通过HTTP API访问任务数据（这就是为什么我排除SQLServer Service Broker之类的解决方案的原因）。 发送到消息队列的数据仅是用于标识作业的元数据。

如果纯MSMQ不是正确的工具，例如，我可以使用MassTransit解决问题吗（我不喜欢必须为此安装并运行其他MassTransit RuntimeServices + SQL db的事实）？ 还有其他建议吗？

Answer 1

您可以创建另一个队列吗？ 如果是，那么我将创建多个队列。 像GenericTaskQ一样，它将具有所有任务，然后是xTaskQ和yTaskQ。 现在，您的xTaskRunner将从通用队列中选择任务，如果无法处理，则将其放入yTaskQ（或合适的q）。 yTaskRunner也是如此，如果它无法处理消息，则将其放入xTaskQueue。 x和y任务运行者应该始终先查找各自的队列，如果那里什么也没有，那就去研究genericq。

如果您不能创建多个q，请使用message（task）标签（应该是唯一的，我们通常使用GUID）来记住任务运行者已经看到并且无法处理的任务。 还可以使用Peek在实际收到消息之前检查此消息是否已得到解决。

Answer 2

您使用MSMQ的方式实际上是在规避该技术的某些基本功能。 如果阅读器无法普遍处理队列消息，则将导致相当大的系统性能损失，许多任务处理服务在请求任务时会空手而退。 在极端情况下，想象一下，如果只有一项服务可以执行任务类型“ A”，将会发生什么。 如果该服务将关闭，并且要从队列中拉出的第一个任务是“ A”类型，则整个系统将关闭。

我建议以下两种方法之一：

1. 利用多个队列，每个任务版本使用一个队列。 将任务检索隐藏在API或其他服务的后面。 您的服务可以从一种或多种任务类型中请求一项任务，甚至可以允许任何事情。 然后，API将负责确定要从哪个队列中拉出（例如，映射到特定任务类型，随机选择一个，进行某种循环等等）。
2. 在排队时选择其他存储技术。 如果您编写了足够好的SQL，那么关系数据库将不仅仅可以完成任务。 您只是必须格外小心，以免发生僵局。