如何在分組任務中定義 Airflow 依賴項？

Question

我想在氣流中啟動分組任務。 當第一組結束時再開始第二組任務，例如：

我有任務 A、B、C 和 D，我想一起運行任務 A 和 B，當 A 和 B 完成時，C 和 D 將一起開始

像這樣，但不起作用...

[A,B] >> [C,D]

（任務是 BashOperator 類型）

你可以幫幫我嗎？？

謝謝！！！

Answer 1

我將通過兩種方式向您展示如何做到這一點。

1. 一一定義依賴。

現在您正試圖在一行中完成所有操作。 這是不可能的，因為我們只能將列表的依賴項設置為單個任務以及從單個任務到列表。 然而，從一個列表到一個列表是不可能的。 因為你的例子只有 4 個任務，我們可以用兩行來完成。

# original
# [A,B] >> [C,D]
# new way
[A, B] >> C
[A, B] >> D

2.在中間創建一個DummyOperator。

讓我們介紹任務 E， 一個 DummyOperator 。 一旦依賴項全部完成， DummyOperator 將始終自動成功。 現在我們可以如下定義它。

[A, B] >> E
E >> [C, D]

總的來說，這是定義 DAGS 的一種非常好的方式，因為它允許您根據任意數量的任務將其擴展到任意數量的任務，仍然只需要兩行代碼。