[英]Composer Airflow - Cross DAG Task Dependancy
我有以下 2 个 DAG 和任务
DAGA - 任务 1、任务 2、任务 3
DAGB - 任务 4、任务 5、任务 6
现在，DAG B 的 Task4 和 5 依赖于 DAGA 的 Task1，而 Task6 依赖于 Task3，但我只希望在星期一有这种依赖，而在剩下的日子里，我不想要这种依赖。
对于这种交叉 dag 依赖关系，您希望 dag 的某些任务在一周的特定一天运行，请将TriggerDagRunOperator与BranchPythonOperator一起使用。 此运算符 function 必须返回 DAG 应根据某种逻辑继续处理的任务 ID 列表。
另一个很好的链接
刷新 composer/airflow DAG 以动态生成任务列表
[英]Refreshing composer/airflow DAG in order to generate task list dynamically
Composer/Airflow - 在运行 DAG/管道时添加依赖项？
[英]Composer/Airflow - Adding a dependency while running a DAG/pipeline?
有效地为 airflow 中的 DAG 中的所有任务设置 task_concurrency
[英]Efficiently set task_concurrency for all tasks in a DAG in airflow
损坏的 DAG：[/home/airflow/gcs/dags/composer-dataproc-dag.py] 无法导入名称“email”
[英]Broken DAG: [/home/airflow/gcs/dags/composer-dataproc-dag.py] cannot import name 'email'
无法从 Cloud function 触发 composer/airflow dag，当云存储发生变化时触发
[英]Unable to trigger composer/airflow dag from Cloud function that triggers when there are changes in cloud storage
Google Composer - Airflow 配置覆盖在更新 killed_task_cleanup_time 变量后损坏 Airflow
[英]Google Composer - Airflow Configuration Overrides broke Airflow after update of killed_task_cleanup_time variable
如何让 airflow dag 等待 VM 在执行下一个任务之前完成其工作
[英]how to make airflow dag wait VM to finishes its job before doing the next task
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
