在尝试创建 DockerOperator 时，出现以下错误： 这是我的代码： 注意：这是文档的链接，它显示我的 arguments 确实存在于文档中。 那么，为什么我会收到这两个特定的 arguments 的 InvalidArgument 错误？ ...
有没有办法动态创建 DockerOperator 的 Mount 对象，以便我可以使用存储在 Airflow db 中的文件系统连接？ 如果连接发生变化，我不想更改 dag 代码。 目前我需要像这样硬编码路径 我尝试在 Operator 外部使用 FSHook，但是当我调用时它返回一个空字符串 所以 ...
所以，基本上我有一个 airflow dag 如下： 操作员 T1 执行一个永远监听端口的容器操作员 T2 执行一个容器，该容器将在 python 脚本中使用来自 T1 的容器 Operator T3 执行一个 python 脚本，不需要其他 2 个容器，但需要在 T2 之后执行问题是，在操作员 ...
我目前有一个 Docker 容器和一个 python 映像，我在其中运行 cronjobs。 我使用 docker 组合文件来运行它，我将令牌从主机（我的 Macbook）作为环境变量传递给容器。 我想将 cronjobs 迁移到 AirFlow （使用此处的 docker-compose 文件运 ...
我正在探索如何在 Apache Airflow 教程中使用 DockerOperator 。 我已经设法使用 docker-compose 设置 airflow 并能够在我的 airflow 浏览器中访问教程中提到的docker_dag 。 这是相同的代码。 在下面执行 tast t2 (Docke ...
我正在尝试将本地目录作为卷传递给 airflow，然后将其传递给 dag DockerOperator 我的airflow-docker-compose.yaml（在airflow-common部分）看起来如下 在 DAG 代码中，我试图传递 mounts 参数，如下所示： 使用此代码，我得到错误： ...
在 DAG 中，我使用的是 DockerOperator，我需要在其中挂载一个临时目录来存储一些数据。 容器必须为此临时目录使用主机上的特定路径，因此我尝试使用 DockerOperator 的“host_tmp_dir”参数，但这不起作用。 考虑以下 DAG 示例：from airflow im ...
如果force_pull未设置为 True 是否意味着如果图像有更新，它将不会被拉取。 如果不需要拉图像，我不想拉图像，即没有变化。 还需要auto-remove ，如果重复使用容器不移除会有什么危险。 文档似乎很简单，大多数文章似乎都没有涵盖这些方面。 任何人都可以更清楚地了解这两个参数吗？ ...
我需要将 Airflow 连接设置（AWS、Postgres）传递给 docker 容器环境变量我正在尝试使用自定义 Operator 和 BaseHook 来做到这一点。 \ 是否有可能做这样的事情，或者如果没有，我应该怎么做？ ...
我使用 docker-compose 安装了 Airflow 并运行了 db init 命令。 我正在尝试创建一个使用 DockerOperator 执行某些脚本的 DAG。 在我的 DockerOperator 中，脚本试图读取 Airflow 变量并使用 BaseHook 获取连接。 但似乎我的 ...
我试图在我的 DAG 中将一个值从一个任务传递给另一个任务。 我的 DockerOperator 任务中有这段代码： 然而，我从上面的“ti.xcom_pull”这一行得到错误“无效的语法” 。 这个 DAG 有两个任务，第一个是任务 ID run_this ，它调用 Python Callable ...
我想做的是在 DockerOperator 中运行 docker 映像。 在容器内，我想为 a.py 文件启动一个 python 交互式 shell 并在文件中运行一个方法。 这可能在一个运营商中实现吗？ ...
我正在使用 docker-compose 和 celery executor 运行 Airflow 2.1.4。 到目前为止，我已经能够从 celery 工作容器启动和运行简单的 DockerOperator 任务，但是现在当我尝试将目录从共享驱动器挂载到任务容器时，出现错误（下面的日志文件）。 如 ...
我是 Airflow 的新手。 我正在尝试通过 Airflow 运行容器，但出现超时错误： 我有 Mac 系统，并配置了 docker socket，如下所示： https : //github.com/puckle/docker-airflow/issues/543#issuecomment- ...
从 Airflow 使用 DockerOperator 时出现错误： 我的代码： 我在这里做错了什么？ 我正在尝试使用 Apache Airflow 运行一个 dockerized python 服务，老实说，没有看到为什么突然“卷”应该是错误的论点的原因。 ...
我有一个 docker 容器，它通过 docker 容器解析文本文件中的音频文件，该容器将安装到这些音频文件所在的文件夹中。 我想创建一个 Airflow dag，它将自动执行此任务。 有我的计划我将音频文件下载到文件夹，即名称为 execution_date，即/path/{{ds}} 我通过 ...
我对 Docker + Airflow 很陌生。 以下是我想要完成的。 我有 4 项服务，如下面的撰写文件所示。 3 个与 Airflow 相关，一个作为测试 Ubuntu 实例。 Airflow 相关容器：airflow airflow-database 、airflow airflow-we ...
我正在使用DockerOperator来运行容器。 但我没有看到任何发布所需端口的相关选项。 触发任务时，我需要发布网络服务器端口。 任何帮助或指南都会有所帮助。 谢谢！ ...