如何在 Airflow 中设置 DAG 之间的依赖关系？

Question

我正在使用Airflow来安排批处理作业。 我有一个每天晚上运行的 DAG (A) 和另一个每月运行一次的 DAG (B)。 B 取决于 A 已成功完成。 但是 B 需要很长时间才能运行，所以我想将它保存在一个单独的 DAG 中，以便更好地报告 SLA。

如何使运行 DAG B 依赖于在同一天成功运行 DAG A？

Answer 1

您可以使用名为 ExternalTask​​Sensor 的运算符来实现此行为。 您在 DAG(B) 中的任务 (B1) 将被安排并等待 DAG(A) 中任务 (A2) 的成功

外部任务传感器文档

Answer 2

看起来也可以使用TriggerDagRunOperator ，并且您可以使用 python 可调用来添加一些逻辑。 如此处所述： https : //www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand

Answer 3

当需要跨DAG依赖时，往往有两个需求：

1. DAG B上的任务B1需要在 DAG A上的任务A1完成后运行。 正如其他人提到的，这可以使用ExternalTaskSensor来实现：

    B1 = ExternalTaskSensor(task_id="B1", external_dag_id='A', external_task_id='A1', mode="reschedule")

2. 当用户清除 DAG A上的任务A1时，我们希望 Airflow 清除 DAG B上的任务B1以使其重新运行。 这可以使用ExternalTaskMarker实现（自 Airflow v1.10.8 起）。

    A1 = ExternalTaskMarker(task_id="A1", external_dag_id="B", external_task_id="B1")

有关更多详细信息，请参阅有关跨 DAG 依赖项的文档： https : //airflow.apache.org/docs/stable/howto/operator/external.html