如何从 DAG airflow 导入我自己的模块

Question

我是 airflow 的新手，非常感谢您的帮助：我的项目如下所示：
--AIFLOWHOME
----狗
------my_dag.py
------实验室
--------_初始化_.py
------db_connections.py

在文件 my_dag.py 中，我正在尝试像这样导入我的模块：

从实验室导入 db_connection

看起来不错，但是当我尝试运行以下命令时 airflow dags list-import-errors
我收到一个错误：ImportError: cannot import name 'db_connection' from 'labs'

我的 airflow 没有安装在 Docker 上

我的衣服是什么？

我尝试这样做，sys.path.append('C:\Users\xxxx\AIRFLOWHOME\dags\labs') 但它没有帮助

谢谢你！

Answer 1

Airflow 允许您在 DAG 和 Airflow 配置中使用自己的 Python 模块。 下面的文章将介绍如何创建自己的模块，以便 Airflow 可以正确加载它，以及在模块未正确加载时诊断问题。

通常，您希望在 Airflow 部署中使用您自己的 python 代码，例如公共代码、库，您可能希望使用共享的 python 代码生成 DAG，并拥有多个 DAG python 文件。

您可以通过以下方式之一进行操作：

将您的模块添加到 Airflow 自动添加到 PYTHONPATH 的文件夹之一

添加额外的文件夹，您将代码保存到 PYTHONPATH

package 你的代码变成 Python package 和 Airflow 一起安装。