具有优先级的分布式任务执行的体系结构

Question

我们正在研究创建用于任务执行的分布式系统 ，其中任务在.NET（C＃）中具有优先级 。 有很多选择，我希望您对此有所了解。 选项及其缺点是：

1） 亚马逊的SWF （简单工作流）-在.NET中，我们不能使用诸如Java的FLOW这样的框架来简化。 这意味着很多样板代码。 此外，亚马逊提供的这项服务似乎不太受欢迎（因此：没有社区支持，并可能最终消失）

2）在排队系统之上构建自己的

2.a） SQS-并不是真正的FIFO，使用2个队列（普通和高优先级）将无法使我们对优先级进行精细控制（我们可能可以接受）

2.b） RabbitMQ-管理开销（设置，在集群模式下配置以提高可靠性等）

3）我收到了另一个建议，即使用没有队列的“事件驱动”。 我看不到这种可能性，也许有人可以帮我澄清一下？ （哦，这和一种叫做Akka （基于演员）的技术有关）

谢谢

Answer 1

SQS可能将是最简单的-只需很少的代码，并且成本极低且建立时间最短。

如果2个队列和高/低优先级不够，则创建3个队列，5个队列或10个队列-您可以根据需要进行精细设置。

您可以让多台工作计算机按优先级顺序扫描所有队列，或者让某些计算机专用于处理高优先级队列，如果您想更快地处理这些计算机，则它们可能更大/更快。

另一种选择是具有单独的自动扩展策略，该策略将基于高优先级队列的长度的少量增加来旋转更多/更快的计算机，但是仅当低优先级队列变得非常大时才扩展较小/更便宜的计算机。长期...很多选择供您选择，并微调您的解决方案。