如何使用 bind = True 从任务中创建一个组？

Question

bind=True的任务

我有一个运行持续几秒钟的计算的 celery 任务。

from celery import states

@celery.task(name="crunch.task", bind=True)
def crunch(self, data):
    try:
        pass
        # ... run computation with data here
    except Exception as exc:
        self.update_state(
            state=states.FAILURE,
            meta={"details": "error details here"}
        )
        raise exc

这里的重要特征是我使用bind=True将任务传递给 function 作为self参数。 这允许访问任务的update_state方法，该方法非常适合错误处理。

小组作业

我现在想使用celery.group在批处理作业中运行此任务。

@celery.task(name="batch.task", bind=True)
def batch(self, data_list):
    try:
        # HERE! IT SEEM WRONG TO PASS `SELF` INTO THE CHILD TASKS
        job = group([crunch(self, data) for data in data_list])  # <-- here `self` should be created by celery!
        job.async_apply()
    except Exception as exc:
        self.update_state(
            state=states.FAILURE,
            meta={"details": "error details here"}
        )
        raise exc

如何使celery.group由具有bind=True的任务组成？

Answer 1

您需要使用签名，

crunch.si(data)