想访问API调用中数据传入的config 想在 PostgresOperator 的 sqlquery 中访问 seller_id 上述任务不返回任何数据。 但是当我将参数硬编码为 有用。 还尝试使用 sql 文件和参数，但没有效果。 这种方法也行不通。 它将 {{ dag_run.conf["se ...
我有四个文件main.py 、 jobs.zip 、 libs.zip和params.yaml ，这些我存储在 Azure 存储帐户容器中。 现在我有了这段代码，它正在制作一个有效负载，并将尝试使用该有效负载运行一个 spark 作业。 该有效负载将具有这 4 个文件的位置链接。 我已经检查了正确 ...
我正在尝试创建一个 DAG，它将根据上一个任务的结果生成 N 个任务。 问题是我无法在 Operator 之外使用上一个任务（在 XCom 中）返回的值有没有办法使这项工作？ ...
我创建了一个名为dag_template_module.py的模块，它使用指定的 arguments 返回 DAG。我想将此定义用于多个 DAG，做同样的事情，但来自不同的来源（因此参数）。 dag_template_module.py的简化版本： 现在我创建了一个hello_world_dag ...
我有一个带有 PostgresOperator 的 Airflow dag 来执行 SQL 查询。 我想使用配置（运行 w/config）切换到我的测试数据库或我的产品数据库。 但是 postgres_conn_id 不是模板字段，因此 PostgresOperator 说“{{ dag_run. ...
我的 Apache airflow 版本是2.5.0。 我想访问和使用在触发 DAG 时设置的配置 json 的值。 我已经尝试了以下给定的问题解决方案，但没有一个有效。 配置在配置 json 部分： {“conf1”：“测试”} 我想在我的 Python VirtualEnv Operator ...
我从 airflow.providers.google.cloud.operators.dataproc 导入了 3 个运算符DataprocCreateBatchOperator DataprocDeleteBatchOperator DataprocGetBatchOperator Azure ...
这是停止执行步骤后的图像，突出显示的步骤正在运行，没有任何依赖性。 请在 stop_dag 任务运行完成后帮助停止其他任务。 ...
实施 Operator 以抽象云提供商（GCP 和 Azure）特定调用（SQL/Python/Spark） 我找到了这个文档：- https://airflow.apache.org/docs/apache-airflow/1.10.14/_modules/airflow/contrib/exa ...
我有一个 airflow DAG，它使用变量调用特定的 bash 命令。 在后端，我们有 Aurora DB。 我们是否知道Aurora DB中是否有存储Airflow DAG中使用的变量信息的表？ 我需要从中创建一个报告，因此要求从后端访问变量。 我尝试使用 operational_insigh ...
我有一个由两种类型的节点Task和Subtask组成的图。 这些列表与元数据一起存储在两个表TaskTable和SubTaskTable中（目前，我们可以假设一个名为“name”的元数据字符串列）。 Task下会有子任务，这些子任务将以 DAG 的形式连接起来。 Task A可能有 5 个子任 ...
所以我知道为了设置规则优先级，你使用ruleorder 。 有没有一种有效的方法可以使规则优先于所有其他规则？ 例如，假设我有规则a 、 b和c 。 我希望规则b比a和c具有更高的优先级。 除了手动执行ruleorder: b > c和ruleorder: b > a之外，我该怎么做？ ...
您好，我正在使用 Networkx 和 Python 制作一些图表。 从结构为“源”和“目标”的 a.CSV 中提取边缘后，我得到了如下边缘列表： 有没有什么方法可以构建（在使用这些边创建 MultiDiGraph 之后）一个有向图，它结合了相等的边，将权重作为相同边的出现次数，结果如下： 我已经实 ...
我有以下 Airflow DAG，它将单个本地文件上传到 S3 存储桶中。 DAG 在 Airflow 中导入，没有任何错误，但是当我尝试强制运行时，它没有执行任何操作，如下面的屏幕截图所示： 当我检查任务实例详细信息时，它说“依赖项阻止任务被安排。DependencyReasonTask 实例 ...
我创建了一个 DAG 来将本地文件上传到个人 S3 存储桶中。 但是，访问 http://localhost:9099/home 时出现以下错误： FileNotFoundError: [Errno 2] 没有这样的文件或目录：'C:\Users\plata\OneDrive\Υπολογιστή ...
我想从 Airflow 调用 dag 运行时，但是，我的语法中的某些内容已关闭，我需要帮助来更正它。 我试过这个代码片段 然后在 DAG 中调用它。 但它只是插入文本：'{{ data_interval_start }}'，而不是日期/ts ...
我有一个看起来像这样的 DAG： dag1: 然后我有一个全局 Airflow 变量"STATUS" 。 在运行clean步骤之前，我想检查“STATUS”变量是否为真。 如果是这样，那么我想继续执行“清理”任务。 否则，我想一直等待 state，直到全局变量“STATUS”变为真。 是这样的： ...
dag1: 我有一个 dag，我在那里运行一些任务。 但我想对其进行修改，以便仅当另一个 dag“dag2”目前未运行时才运行clean的步骤。 有什么方法可以导入关于我的“dag2”的信息，检查它的状态，如果它处于成功模式，我可以继续执行clean的步骤，就像这样： 如何实现wait_for_d ...