在Celery中獲取工作者ID

Question

我想使用Celery在帶有四張Tesla卡的GPU服務器上運行作業。 我用一個由四名工人組成的工作人員來管理芹菜工人，這樣每張卡片總能運行一份工作。

我的問題是如何指導工人每個聲稱一個GPU。 目前，我依賴於工作進程應該都具有連續進程ID的假設：

device_id = os.getpid() % self.ndevices

但是，我不能保證始終可以工作，即當工作進程隨着時間的推移重新啟動時。 理想情況下，我想直接獲得每個工人的ID。 有人可以告訴我是否可以從任務中檢查工作人員，或者可以建議不同的解決方案來跨GPU分配工作？

Answer 1

如果您正在使用CELERYD_POOL = 'processes' ，則工作池由billiard處理，這恰好暴露了其基於0的流程索引：

from billiard import current_process
from celery import task

@task
def print_info():
    # This will print an int in [0..concurrency[
    print current_process().index

index是從0開始的，如果一個worker正好重新啟動，它將保留其索引。

我找不到有關index值的任何文檔：/