重试块中芹菜任务的行为

Question

我有一个关于中重试芹菜任务问题块 。 我的python版本是2.7.9 ，我的芹菜版本是3.1.18

当块中的单个任务失败时，似乎不会重试，而是整个块一起失败。

首先，有时会失败的任务：

@app.task(bind=True, default_retry_delay=30, max_retries=5)
def sometimes_add(self, x, y):
    try:
        if random.randint(0, 10) < 8:
            return x + y
        else:
            raise Exception("I'm failing!")
    except Exception as e:
        raise self.sometimes_add.retry(exc=e)

任务调用了100次，并分成5个部分，因此有20个任务：

sometimes_add.chunks(zip(range(100), range(100)), 5).apply_async()

我希望一旦失败，就可以重试块中失败的任务，但是似乎根本没有重试任何任务，并且5个任务的整个块作为一个单元都失败了。

我是Celery的新手，所以肯定有可能我缺少使用任务分块的最佳方法的一些基本知识。 如果是这样，我将不胜感激。 非常感谢！

Answer 1

您是否设置了结果后端？ 从文档 ：

和弦中使用的任务一定不能忽略其结果。 实际上，这意味着您必须启用CELERY_RESULT_BACKEND才能使用和弦。 此外，如果在您的配置中将CELERY_IGNORE_RESULT设置为True，请确保要在和弦内使用的各个任务定义为ignore_result = False。 这适用于Task子类和修饰的任务。

Answer 2

看起来这里有一个语法错误：

sometimes_add.chunks(zip(range(100), range(100)), 5).apply_async()

您正在关闭zip()函数，然后添加第三个参数-5。我认为它应该像这样：

sometimes_add.chunks(zip(range(100), range(100), 5)).apply_async()