使用 ECS Fargate DAG 作业管理 AWS Airflow

Question

阅读本文： https://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

我不清楚； 是否可以在 ECS Fargate 上运行 MWAA 和执行作业？ 或者要在 Ecstatics Fargate 上执行作业，您需要在 ECS Fargate 上运行整个 Airflow 堆栈吗？

Answer 1

我建议阅读这份关于 AWS MWAAs 的文档，特别是关于架构的部分，因为它应该为您提供更多上下文。

我不清楚； 是否可以在 ECS Fargate 上运行 MWAA 和执行作业？

是的。 MWAA 在 Fargate 上运行其 Airflow 组件（调度程序、工作程序等），并将自动在 Fargate 容器中执行其作业。 它还将扩展容器的数量以满足需求。

还有大量 Airflow 集成，您可以使用它们将 DAG 中的任务/节点卸载到其他服务（例如ECS 、 Batch等）

Answer 2

它没有很好的记录，但它是可能的。 我们正在使用 ECS 任务运算符和自定义图像成功运行 MWAA。

基本上你需要以下内容：

• MWAA环境
• MWAA 执行角色，添加了在 ECS 中运行任务和访问 CloudWatch 日志的权限
• ECS 任务定义

您还需要在 MWAA 要求文件中添加apache-airflow[amazon] 。