气流任务失败/重试工作流程

Question

我有任务的重试逻辑，不清楚重试打开后Airflow如何处理任务失败。

他们的文档仅说明在任务失败时会触发on_failure_callback ，但是如果该任务失败并且也标记为重试，是否意味着将同时调用on_failure_callback和on_retry_callback ？

Answer 1

重试逻辑/参数将在故障逻辑/参数之前发生。 所以，如果你有设置重试两次任务，它会尝试再次运行两次（因而执行on_retry_callback失败（然后执行前） on_failure_callback ）。

确认执行顺序的一种简单方法是将email_on_retry和email_on_failure设置为True然后查看它们出现的顺序。 您可以物理地确认它会在失败之前重试。

default_args = {
    'owner': 'me',
    'start_date': datetime(2019, 2, 8),
    'email': ['you@work.com'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=1)
}