限制celery中同時特定任務的數量

Question

我有 2 個任務taskA和taskB ，它們使用 GPU 運行。 它們都可以同時在 GPU 上運行。 但是如果 celery 決定啟動一個額外的實例，那么我就會崩潰（GPU 上的 memory）。

因此，我希望能夠對此進行控制（即同時只允許taskA + taskB或taskB + taskB或taskA + taskA ，但例如阻止taskA + taskA + taskB ）。

我該如何控制這個？

Answer 1

您可以使用--concurrency參數限制並發任務的數量。 如果您對兩個任務使用相同的工作人員，則將此設置為 2；如果您有兩個單獨的工作人員，則將其設置為 1。