我正在尝试使用气流变量来确定是否执行任务。 我试过这个，但它不起作用： 我希望能得到一些帮助让它发挥作用。 还有在气流中做这样的事情的更好方法吗？ ...

我有这样的代码： 反馈是： 我努力了： 有效。 我找不到这方面的参考。 任何帮助将不胜感激！ ...

我有一个简单的线性 DAG（使用 Airflow 2.0 创建）有两个任务。 我为扩展BaseOperator的每个任务都有自定义运算符。 以下是 dag 和操作符的代码：- 当我运行 DAG 时，我发现用于获取xcom值的context是空的。 我在stackoverflow上搜索了很多答案，并 ...

以前，我使用TriggerDagRunOperator的python_callable参数来动态更改传递给新触发的 DAG 的 dag_run_obj 有效负载。 由于它在 Airflow 2.0.0 中被删除（拉取请求： https://github.com/apache/airflow/pul ...

我有一个自定义运算符，在参数列表中我使用 xcom_pull 从 XCOM 获取值。 但它没有呈现为实际值，而是保留为字符串。 运算符返回以下 output： spark-submit --deploy-mode cluster..... --input_file "{{ ti.xcom_pull( ...

我有两个简单的任务，一个是获取 id 列表，另一个必须使用 echo 命令显示 id 列表。 xcom push 的结果似乎是正确的。 我有一个元组列表，如下所示。 返回函数(xcom push)的output是一个元组列表，如下： 这是我的代码： 由于这个错误，我的最后一项任务失败了，我不明白为 ...

我正在尝试以动态方式传递 postgres 运算符中的参数。 为了刷新元数据，有两个任务， 获取 id 列表 (get_query_id_task) 传递 id 列表以获取并执行查询 (get_query_text_task) Xcom push 返回查询列表如下： 我使用插件来渲染 xcom ...

我有一个要求，我需要通过 Airflow SQLsensor 运算符捕获 XCOM 响应并应用一些 python 命令来更改数据格式。 我的代码如下： - 我从代码"{{ (ti.xcom_pull(key='id_list', task_ids=['hook_task'])).str() }}"收 ...

Since version 2.0.0 of Apache Airflow, we can pass the output from one function as an input to another, easily through the decorator @task , as show ...

我的 DAG（我们称之为 DAG_A）使用trigger_dagrun运算符启动另一个 DAG (DAG_B)。 DAG_B 的任务使用 XCOM，我想在完成后从 DAG_B 运行的任务之一（正是我开始的任务）中获取 XCOM 值。 使用 XCOM 不是硬性要求——基本上 Airflow 本身提供 ...

主要问题：如果不存在，我正在尝试创建 BigQuery 表。 方法：使用 BigQueryTableSensor 检查表是否存在，并根据返回值，使用 BigQueryCreateEmptyTableOperator 创建或不创建新表。 问题：我无法使用 xcom 获取 BigQueryTableS ...

大家好，我正在使用 airflow 这是我正在尝试解决的场景，我想在 function 运行后动态创建 DAG 我想根据数据来自数据库的 DATA 变量的 len 创建这些 dag 我试着调查https://www.astronomer.io/guides/dynamically-generati ...

我是使用 Airflow 的新手（并且对 Python 很陌生。） 我需要使用Airflow将一些非常大的 MySQL 表迁移到s3文件。 All of the relevant hooks and operators in Airflow seem geared to using Pandas ...

我在 kubernetes 上运行 airflow 1.10.13 并试图找到一种方法来动态更改我运行任务的命名空间。 我尝试使用模板并从 dag_run.conf json 中插入参数，但模板仅在“cmds”中呈现，而不在命名空间等其他任务字段中呈现。 我很想找到一个解决方案（使用模板或任何其他方 ...

我想要来自 GoogleCloudStoragePrefixSensor Operator 的文件名。 尝试使用 context['ti'].xcom_pull(task_ids='check_file_gcs') 主要 check_file_gcs 是 我无法从 xcom_pull 获取文件名。 ...

我正在使用 Airflow 1.10.11 I can read that I can send parameters to a dag execution using the UI and CLI ( https://airflow.apache.org/docs/apache-airflow ...

我正在使用 Bash 运算符执行 python 脚本文件，如下所示： 在 python 文件中，如果在循环中满足条件，我想向 xcom 发送一个值，例如： 由于它处于循环中，并且我希望它在达到 2 后继续，所以我不能使用return 。 我尝试过： 但在这两种情况下，我都会收到类似NameErro ...

我有一个使用此 PythonOperator 的 airflow 步骤： 这会将 function 'get_metadata' 的 xcom 返回值传递给 'metadata_iter'，这是另一个 function 并采用参数元数据。 get_metadata 返回值是一个字典列表。 目前，它 ...

我对 airflow 相当陌生，我目前正试图在我的 SimpleHttpOperators 之间传递信息。 这是检索数据的地方： 然后我想在以下运算符中使用来自此的响应： 如您所见，我尝试通过request_city_information.xcom_pull(context='ti')访问响应。 ...

Apache Airflow 版本：2.0.0 发生了什么： 使用端点/dags/{dag_id}/dagRuns/{dag_run_id}/taskInstances/{task_id}/xcomEntries/{xcom_key}我得到了响应正文，但没有值条目。 喜欢： 代替： 已定义键的确切 ...