為什么 airflow 沒有運行最近的任務

Question

我已經使用以下參數設置了一個 dag

local_tz = pendulum.timezone('US/Eastern')  

default_args = {
    'retries': 3,
    'retry_delay': timedelta(minutes=5)
}

dag = DAG(
    dag_id='some_dag',
    start_date=datetime(2021, 1, 8, tzinfo=local_tz),
    schedule_interval='0 16 8 * *',
    default_args=default_args,
    catchup=True
)

我預計最近的任務運行在 5 月 8 日，但是，我只看到 2 月 8 日、3 月 8 日和 4 月 8 日。 我似乎無法弄清楚為什么 Airflow 會在四月停止。

現在是 5 月 25 日，所以 5 月 8 日的每日運行不應該與其他月份一起回填嗎？ 需要明確的是，我今天剛剛部署了這個 dag，所以所有執行的 dag 運行，包括丟失的 5 月 8 日都是回填。

Answer 1

這是意料之中的。 正如您提到的 Airflow 在間隔結束時安排任務。 根據您的設置，調度將如下所示：

第1st運行將於2021-02-08年 2 月 8 日開始本次運行execution_date日期為2021-01-08年 1 月 8 日

2nd輪將於 2021 年 3 月 8 日開始， 2021-03-08 execution_date日期為2021-02-08年 2 月 8 日

第3th次運行將於2021-04-08開始，本次運行execution_date日期為2021-03-08

第4th運行將於2021-05-08年 5 月 8 日開始本次運行execution_date日期為2021-04-08年 4 月 8 日

第5th運行將於2021-06-08年 6 月 8 日開始本次運行execution_date日期為2021-05-08年 5 月 8 日

由於您實際上將 DAG 設置為在 2021 年 5 月 26 日開始， 2021-05-26在1st-4th運行時執行，因為這些運行的間隔已經結束。 第5th輪尚未開始，因為間隔尚未結束，它將在2021-06-08結束。

您可以在此答案中閱讀有關 Airflow 行為如此的更廣泛的解釋。