如何使用相同的代码在 airflow 中创建多个 dag

Question

我正在考虑一种方法，如果可能的话，在 airflow 中运行多个（不同标记的 DAG）（使用不同的配置，如路由，但逻辑相同）

Answer 1

解决方案 1

您可以使用创建 DAG 工厂的子任务创建 DAG 模板。

利用 globals() 并将 Python 代码保存到 dags_folder 中，Airflow 将加载它。

from airflow.operators.python_operator import PythonOperator
from datetime import datetime


def dag_factory(
    dag_id: str, schedule_interval: str = "@daily", default_args: dict = None
):
    def print_statement(*args):
        print("Hello World")
        print(f"This is DAG number {dag_id}")

    dag = DAG(dag_id, schedule_interval=schedule_interval, default_args=default_args)

    with dag:
        task = PythonOperator(
            task_id="print_statement",
            python_callable=print_statement,
        )

    return dag


for number in range(1, 10):
    dag_id = f"test_dag_{number}"

    default_args = {
        "start_date": datetime(2021, 1, 1),
    }

    globals()[dag_id] = dag_factory(dag_id, default_args=default_args)

解决方案 2

这是动态 dag 的现代方法，它利用了较新的 dag 和任务装饰器。

from airflow.decorators import dag, task
from datetime import datetime

configs = {
    'dag_1': 'This is dag 1',
    'dag_2': 'This is dag 2',
}

for dag_name, dag_config in configs.items():

    @dag(
        dag_id=dag_name,
        schedule_interval='@daily',
        start_date=datetime(2021, 1, 1)
    )

    def dynamic_dag():
        @task
        def print_data(msg):
            print(msg)
        
        print_data(dag_config)

    dynamic_dag()

您可以从官方文档中了解更多信息。