如何向 Airflow 添加新的 DAG？

Question

我在一个名为tutorial_2.py的文件中定义了一个 DAG（实际上是airflow教程中提供的tutorial.py的副本，除了将dag_id更改为tutorial_2 ）。

当我查看默认的、未修改的airflow.cfg （位于~/airflow airflow.cfg中）时，我看到dags_folder设置为/home/alex/airflow/dags dags_folder /home/alex/airflow/dags dags_folder 。

我做cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py 。 现在我有一个dags文件夹，它与airflow.cfg设置的路径相匹配，其中包含我之前创建的tutorial_2.py文件。

但是，当我运行airflow list_dags ，我只能获得与默认教程DAG 对应的名称。

我想让tutorial_2显示在我的 DAG 列表中，以便我可以开始与之交互。 python tutorial_2.py和airflow resetdb都没有导致它出现在列表中。

我该如何补救？

Answer 1

我认为这是因为你没有导出AIRFLOW_HOME 。 尝试做： AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags 。 如果这不起作用而不是两步export AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags我认为这应该有效。 搏一搏？

Answer 2

根据我的理解， AIRFLOW_HOME应该链接到存储airflow.cfg的目录。 然后， airflow.cfg可以应用并将dag目录设置为您放入其中的值。

重要的一点是：如果未设置AIRFLOW_HOME则airflow.cfg无效

Answer 3

问题是您的目录中可能存在两个气流配置，因此检查/ root / airflow / dags如果是，则需要更改airflow.cfg中的dags_folder路径

Answer 4

我可能正在使用最新的气流，命令已更改。 对我有用的是：

• export AIRFLOW_HOME="~/airflow"
• 然后运行airflow dags list