即使主要任務失敗也運行和弦回調

Question

即使主要任務失敗，是否可以運行和弦回調？

我創建了一個和弦，我添加了一堆任務並注冊了一個回調。 我的問題是，如果其中一項任務失敗，則不會觸發回調。 但我希望以任何一種方式觸發回調。

我試圖用 si() 注冊回調（ 不變性）

callback = tasks.run_delete_rule.si([timestamp])
header = [tasks.run_update_rule.s(i, timestamp) for i in item_ids]
result = chord(header)(callback)

我還嘗試將參數ignore_result=True添加到兩個任務裝飾器，但沒有成功。

Answer 1

從 github 問題#1881如果回調設置了link_error選項，它采用任務名稱列表，那么當和弦的任務失敗時，將執行 link_error 任務。

@task(name='super_task.good')
def good():
    return True

@task(name='super_task.raise_exception')
def raise_exception():
    raise ValueError('error')

@task(name='super_task.callback')
def callback(*args, **kwargs):
    logger.info('callback')
    logger.info(args)
    logger.info(kwargs)
    return 'finished'

@task(name='super_task.error_callback')
def error_callback(*args, **kwargs):
    logger.info('error_callback')
    logger.info(args)
    logger.info(kwargs)
    return 'error'

>>> c = chord(
        [raise_exception.s(), good.s(), raise_exception.s()], 
        callback.s().set(link_error=['super_task.error_callback'])
    )
>>> result = c()

這將執行和弦，並且在您的 celery 日志中，您將看到raise_exception任務失敗，並且error_callback的執行將在它的 args 中接收 task_id 的callback 。

此時result的值將包含callback的AsyncResult實例，並且因為在和弦中錯誤會傳播到回調，因此執行result.get()將引發任務異常，並且result.traceback會為您提供回溯。

如果你想要一個回調，只需將和弦回調的名稱傳遞給link_error

callback.s().set(link_error='super_task.callback')

筆記

另一個選項是設置CELERY_CHORD_PROPAGATES = False這將恢復到 celery 3.1 之前的行為並始終執行回調。

但這不是推薦的方法，因為您可以在 github 問題#1349中找到

Celery 3.1 定義了如何處理和弦錯誤，以前的行為從未被記錄下來，更多的是一個意外，因為它從來沒有打算那樣工作。

我們無法更改錯誤修復版本中的行為，因此必須使用設置來代替，但絕不是有人故意禁用新行為。

新行為是為了防止發生此類問題，並且可能會刪除向后兼容的設置。 我建議您在這里找到其他處理錯誤的方法（如果您可以為它發明一個不錯的 api，我不介意提出建議）

Answer 2

你只需要改變調用link_error的方式。 使用您想要的參數傳遞簽名，而不是字符串引用。

在上面的示例中，您可以按以下方式傳遞參數

c = chord(
    [raise_exception.s(), good.s(), raise_exception.s()], 
    callback.s().set(link_error=[error_callback.s(<arguments_here>)])
)

請記住，第一個參數將是task_id ，其他參數將是簽名中定義的參數。