繁体   English   中英

如何向 Airflow 2.0 添加新的“Conn 类型”?

How can I add new “Conn Types” to Airflow 2.0?

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我正在学习 Apache Airflow 2.0,我正在创建一个新的“连接”,但在“连接类型”中只有几个选项,例如我想添加一个 MySQL 连接,但没有那个选项。 在这篇文章中( Apache Airflow - Connection issue to MS SQL Server using pymssql + SQLAlchemy )你可以看到它们有很多 conn 类型,我想知道如何创建或添加新类型,现在我需要 MySQL 类型,但它是将来我可能需要更多(例如 AWS、GCP 等)。 我必须从 CLI 创建一个连接,但是如果我从 UI 编辑它,conn 类型就会丢失,所以这是一个问题......

所以他们在 conn 类型中有所有这些选项:在此处输入图像描述

我只有这些选项:在此处输入图像描述

1 个回复

您需要使用 MySQL Provider 通过以下方式执行此操作:

pip install -U 'apache-airflow[mysql]'

pip install -U apache-airflow-providers-mysql

http://apache-airflow-docs.s3-website.eu-central-1.amazonaws.com/docs/apache-airflow-providers/index.html#extending-airflow-connections-and-extra-links-via-提供者

从 Airflow 2.0.0 开始,连接类型将仅显示已安装的提供程序。

1 如何向 Airflow 添加新的连接类型?

查看插件文档( https://airflow.incubator.apache.org/plugins.html ),很清楚如何添加到新的钩子和运算符,但我添加了一个需要连接信息的新钩子。 这些信息似乎是在airflow/models.py硬编码的。 有没有办法在不改变 Airflow 的源代码的 ...

2018-02-14 13:11:05 1 3318   airflow
2 如何向 Airflow 添加新的 DAG?

我在一个名为tutorial_2.py的文件中定义了一个 DAG(实际上是airflow教程中提供的tutorial.py的副本,除了将dag_id更改为tutorial_2 )。 当我查看默认的、未修改的airflow.cfg (位于~/airflow airflow.cfg中)时,我看到dag ...

4 Airflow中的SFTPOperator无法与conn_id一起使用

我使用此图像设置了一个SFTP站点: https://hub.docker.com/r/atmoz/sftp/ 我能够从托管SFTP的本地计算机,运行Airflow的服务器(使用sftp命令)以及具有WinSCP的Windows计算机连接到此服务器。 但是,当我在Web服务器UI中使用正确的 ...

2018-01-28 17:21:13 0 636   airflow
5 Airflow 2.0 + Celery + Dask

发生了什么:我不确定是在气流 github 上还是在这里提出这个问题。 我一直在气流 1.10 + celery 中使用 dask,它工作正常。 但是现在我迁移到了气流 2.0 并且它停止了工作(下面的错误和堆栈跟踪)。 你期望发生的事情:像在气流 1.10 中一样正常工作,或者至少有一种调用一些 ...

6 Airflow 2.0 Docker 设置

最近一直在尝试学习 Airflow,但网上的大部分资源都依赖于这个 repo https://github.com/puckel/docker-airflow ,不幸的是已被删除。 我不熟悉 docker,所以我只是想在本地设置并使用 Airflow。 我正在使用 Windows 设置,并且已经让 ...

7 如何升级到 Airflow 2.0?

现在 Airflow 2.0 已发布,我们很高兴尝试一些新功能。 从 1.10.11 升级到 Airflow 2.0 的最佳方式是什么? 我现有的代码是否有效,或者我是否需要更改我的 DAG? 我们将在本周晚些时候开始在我们的 DEV 环境中进行升级以进行测试。 Airflow 1 ...

2020-12-17 17:44:11 2 2656   airflow
8 如何加载新的 Airflow 配置?

我正在将 Airflow 用于我的 ETL,现在我想在我的 Airflow 配置中进行一些更改( donot_pickle=True )。 如何加载新配置? 使用: 只需更新容器配置。 我是否被迫重新创建整个事情? ...

2020-05-19 14:06:33 1 202   airflow
9 需要新的库 Airflow

我目前正在使用 docker-compose up 来运行我从 docker 获得的 apache 气流图像。 但是,当我尝试运行我的 pythonOperator(包含附加库的 python 脚本)时,构建气流时会发生错误。 我的 docker-compose.yml: 我在运行 docke ...

10 db init 后的 Airflow 2.0 警告

我使用 pip 命令在 ubuntu 上部署了 Airflow 2.0。 已从 1.10.13 迁移到 2.0。 但是在 db inint 之后,我收到了警告。 请建议我为什么会收到这些警告。 我尝试运行示例 dags,它们运行成功。 ...

2020-12-28 10:49:34 2 395   airflow
暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM