限制celery中同时特定任务的数量

Question

我有 2 个任务taskA和taskB ，它们使用 GPU 运行。 它们都可以同时在 GPU 上运行。 但是如果 celery 决定启动一个额外的实例，那么我就会崩溃（GPU 上的 memory）。

因此，我希望能够对此进行控制（即同时只允许taskA + taskB或taskB + taskB或taskA + taskA ，但例如阻止taskA + taskA + taskB ）。

我该如何控制这个？

Answer 1

您可以使用--concurrency参数限制并发任务的数量。 如果您对两个任务使用相同的工作人员，则将此设置为 2；如果您有两个单独的工作人员，则将其设置为 1。