AirFlow：如何在一行中設置大量外部依賴項？

Question

我正在閱讀這個問題，試圖實現對其他DAG任務的依賴。 在此示例中，依賴關系寫為：

ExternalTaskSensor(
    task_id='wait_for_the_first_task_to_be_completed',
    external_dag_id='a',
    external_task_id='first_task',
    dag=dag) >> \

在我的數據倉庫中，一張表可能取決於數百個任務。 使用這種格式，它將生成2*number of dependencies行代碼。 這真的是不能接受的，還有更好的選擇嗎？

例如，在Azkaban ，我可以這樣編寫多個依賴項：

dependencies = dag1.task1, dag2.task4, dag2.task5, DAG3.task2, etc...

任何幫助表示贊賞。

Answer 1

您可以在循環中創建傳感器並在其中設置依賴項。 我認為它更干凈，但是隨着依賴性數量的增加，我不確定這是否滿足您對代碼量的要求。

例：

dependencies = [('dag1', 'task1'), ('dag2', 'task4'), ('dag2', 'task5'), ('dag3', 'task2')]

other_task = PythonOperator(...)

for dag_id, task_id in dependencies:
    sensor = ExternalTaskSensor(
        task_id='wait_for_{0}.{1}'.format(dag_id, task_id),
        external_dag_id=dag_id,
        external_task_id=task_id,
        dag=dag)
    sensor >> other_task