Message Queue VS Task Queue 架构

Question

我想构建一个可以执行一些 Inte.net 扫描（在 Python 中）以收集各种数据的产品。

我想用执行这些收集工作的任务来设计它。

可以有多个扫描在不同的输入上并行运行，因此任务可以重复，因为它们有不同的输入要操作。

我想知道哪种架构适合它，哪种技术最好。

我想到了使用 RabbitMQ 来存储任务和 Redis 来存储输入。

初始输入触发扫描，然后每个任务吐出他的 output 可能是其他任务的输入。

您如何看待这种可能的设计？ 可以改进吗？ 其他技术？

Answer 1

这取决于输入的大小。 如果这些相对较小，我会使用消息代理 go 并发送消息中的所有内容（即任务类型及其输入）——否则最好使用一些外部商店。 根据持久性要求，可能应考虑持久性存储（如数据库）。