如何使用来自另一个 airflow DAG 的配置*触发 airflow DAG

Question

是否推荐使用从 DAG B 传递给 DAG A 的一些配置从 DAG B 触发 DAG A 的最佳方式是什么？

Answer 1

您可以使用 TriggerDagRunOperator。

在第一个 DAG 中，插入对下一个 DAG 的调用，如下所示：

    trigger_new_dag = TriggerDagRunOperator(
    task_id=[task name],
    trigger_dag_id=[trigered dag],
    conf={"key": "value"},
    dag=dag
    )

该运算符将在执行前一个 DAG 后启动一个新的 DAG。

现在您可以通过（例如）PythonOperator 从 DAG B 下载一些传递给 DAG A 的配置

def _take_data(**context):
    DAGA_data = context["dag_run"].conf

download_data_from_DAGA = PythonOperator(
    task_id='download_data_from_DAGA ',
    provide_context=True,
    python_callable=_take_data,
    dag=dag,
)

文档： https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/trigger_dagrun/index.html