cost 32 ms
管理 Airflow 达格控制

我有一个 airflow Dag 并且有 10 个任务将一个接一个地运行。 我无法重现以下场景案例 1 - 如果前一天 dag 的任何任务失败,则当前 dag 将不会运行,它应该失败。 案例 2 - 只应运行一个 dag 实例。 案例 3 - 如果前一天 dag 成功,则应触发当前 dag ...

2022-09-27 19:12:18 0 16
Airflow Docker AWS EC2 DAG文件日志错误

问题我之前运行过其他 dag 文件,即使它们通过或失败,它们都会给出此消息。 目标修复此错误包含错误的日志我在运行简单的 dag 后得到了这个 命令docker build -t my-image-apache/airflow:latest-python3.8. docker-compose up ...

2022-09-27 16:44:37 0 3
如何设置执行日期与触发时间相同?

我只是在学习 Apache Airflow。 我了解执行日期与触发 dag 运行的实际时间不同。 请注意,如果您在一天的 schedule_interval 上运行 DAG,则标记为 2016-01-01 的运行将在 2016-01-01T23:59 之后不久触发。 换句话说,作业实例在其涵盖的时 ...

2022-09-27 14:32:09 1 11
是否可以让 airflow 使用不同的 python 环境?

我使用 apache/airflow:2.3.3 docker 映像来设置 airflow。 我在另一个驱动器中安装了一个 pyenv。 我在创建 airflow 容器时将卷与 pyenv 绑定。 我还更新了容器中的环境变量 PATH 以指向安装的 pyenv 卷中可用的 python 版本。 但 ...

2022-09-27 13:57:42 0 5
Airflow 任务状态

我在我的 macOS(arm64 拱门)上使用 airflow。 问题是当我尝试触发我的 DAG 时,其中的任务不起作用并且没有任何状态! 在此处输入图像描述 ...

2022-09-27 13:22:59 0 13
Airflow on kubernetes:使用 papermillOperator 执行笔记本

我使用 bitnami repo 在 kubernetes 上安装了 Airflow。 现在我想使用 papermillOperator 运行一个笔记本,我在目录“/opt/scripts”中有这个 nb。 现在当我触发 dag 文件时,我得到了这个错误 FileNotFoundError:[Err ...

2022-09-27 11:02:40 0 4
Airflow 创建动态 FileSensorAsync 任务

我正在将 Airflow 2.3.3 与 Astronomer 自定义模块一起使用。 我的目标是建立一个 dag 异步轮询状态 json 加载 json 并继续基于 json 内容的特定分支根据 json 变量值创建 X 个异步轮询任务我尝试了几种方法,但不知何故,我无法让动态任务创建工作如我所愿。 ...

2022-09-27 09:48:51 1 11
为什么我的 Airflow 作业运行“延迟一个间隔”?

例如,我在 11:30 创建了一个新的 DAG。 DAG 应该在每小时的第一分钟运行(Cron:0 * * * *)。 我预计 DAG 会在 12:00 开始。 然而,DAG 于 13:00 开始。 第二次开始于 14:00,而Next run在 UI 中运行是 13:00 我知道,它在文件中提 ...

2022-09-27 04:06:45 0 4
从 CURL 请求引发 Airflow 异常以失败任务

我正在使用 airflow 来安排和自动化 Ubuntu 服务器上的 Python 脚本。 DAG 在实际运行脚本的同一台机器上触发 CURL 请求,该请求命中 Flask API。 以下是流程的高级概述: Airflow --> Curl request --> Flask API ...

2022-09-27 02:24:25 0 6
Cloud Composer 的 GKE 工作负载

我正在尝试通过 Cloud Composer 2 部署 GKE 工作负载(yaml 文件)。我可以通过控制台轻松完成,但在 Cloud Composer 中我遇到了授权问题,这让我想到这是否是最好的方法。 该管道的总体思路如下 1 - 创建 GKE 集群 2 - 启动 POD(使用 composer ...

2022-09-26 23:07:56 0 8
由于 403 错误,Airflow 无法从网络服务器访问日志

我将 Apache Airflow 用于日常 ETL 作业。 我使用提供的 Helm 图表将它安装在 Azure Kubernetes 服务中。 它已经运行了半年,但最近我无法访问网络服务器中的日志(这过去总是可以正常工作)。 我收到以下错误: 我尝试了什么: 我已确保日志文件存在(我可以执行到ai ...

2022-09-26 20:38:56 1 25
高性能 Airflow Celery 工人不工作

我有 我想实现 Сelary 工人的故障转移。 我运行将当前时间戳写入数据库的任务 5 分钟。 之后,我杀死了worker_1(我使用kill ...(pid worker)或systemctl stop/restart worker.service)。 我希望收到错误的 Celary 将开始在 w ...

2022-09-26 16:22:43 0 8
Airflow 任务因分段错误而失败

我正在尝试从 Airflow 执行此 jar 文件https://github.com/RMlio/rmlmapper-java ,但由于某种原因,它立即失败了。 我正在使用PythonOperator执行一些 python 代码,在其中我有一个对 java 命令的子进程调用。 测试命令为: 我在 ...

2022-09-26 15:36:41 0 12

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM