Cron 作业在气流中的错误日期运行

Question

我的 dag 看起来像这样：

args = {
    'owner': 'Me',
    'depends_on_past': False,
    'start_date': datetime(2021, 6, 16),
    'retries': 1,
    'retry_delay': timedelta(seconds=100),
    'provide_context': True
}

dag = DAG(
    dag_id='my_dag',
    default_args=args,
    catchup=False,
    schedule_interval='0 6 25 * *'
)

作为参考，今天是 7/26/2021。 使用我定义的 schedule_interval，我希望它在每个月的 25 日早上 6 点运行。 但是，昨天（25 日）运行时，dag 执行日期设置为早上 6 点的 6/25。

为什么？ 我预计执行日期是 7/25。 是不是我的 start_date 有问题？

Answer 1

在 Airflow 中，DAG 在调度间隔结束时运行。 execution_date是执行周期的日期，而start_date是 DAG/任务开始执行的日期。 在您的情况下， execution_date是 6/25，因为那是执行期的日期。 start_date将是 7/25。

execution_date是遗留 ETL 作业调度的保留，您将在周期结束时汇总数据。