使用 CeleryExecutor 時 DAG 在 Airflow 中的位置

Question

我是使用 Apache Airflow 的新手，在閱讀了文檔后，我了解了氣流中可用的執行器類型及其基本工作模型。

我的問題是關於CeleryExecutor

使用此執行程序時，我無法找到 DAG 所在的位置。

我的氣流配置如下：

airflow_home = /home/airflow
dags_folder = /home/airflow/dags

當我運行命令列出 DAG 時，我得到以下輸出

-------------------------------------------------------------------
DAGS
-------------------------------------------------------------------
example_bash_operator
example_branch_dop_operator_v3
example_branch_operator
example_http_operator
example_passing_params_via_test_command
example_python_operator
example_short_circuit_operator
example_skip_dag
example_subdag_operator
example_subdag_operator.section-1
example_subdag_operator.section-2
example_trigger_controller_dag
example_trigger_target_dag
example_xcom
latest_only
latest_only_with_trigger
test_utils
tutorial

雖然不存在dags文件夾。

在我的集群中，我正在運行

1 WebServer Node
1 Scheduler + Flower Node
1 MySQL Server Node
2 Celery Worker Nodes

如果有人可以解釋這個概念，那將有很大幫助。 更具體地說，我想了解dags文件夾將駐留在哪個節點上。

提前致謝。

Answer 1

您正在列出 Airflow 附帶的示例 DAG。 查看配置文件airflow.cfg 中的設置load_example。

如何刪除氣流中的默認示例 dag

對於您的集群，您需要在集群的不同機器上同步 DAG 和配置。 查看https://airflow.apache.org/docs/stable/best-practices.html?highlight=cluster#multi-node-cluster和 Celery 部分