使用 ECS Fargate DAG 作業管理 AWS Airflow

Question

閱讀本文： https://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

我不清楚； 是否可以在 ECS Fargate 上運行 MWAA 和執行作業？ 或者要在 Ecstatics Fargate 上執行作業，您需要在 ECS Fargate 上運行整個 Airflow 堆棧嗎？

Answer 1

我建議閱讀這份關於 AWS MWAAs 的文檔，特別是關於架構的部分，因為它應該為您提供更多上下文。

我不清楚； 是否可以在 ECS Fargate 上運行 MWAA 和執行作業？

是的。 MWAA 在 Fargate 上運行其 Airflow 組件（調度程序、工作程序等），並將自動在 Fargate 容器中執行其作業。 它還將擴展容器的數量以滿足需求。

還有大量 Airflow 集成，您可以使用它們將 DAG 中的任務/節點卸載到其他服務（例如ECS 、 Batch等）

Answer 2

它沒有很好的記錄，但它是可能的。 我們正在使用 ECS 任務運算符和自定義圖像成功運行 MWAA。

基本上你需要以下內容：

• MWAA環境
• MWAA 執行角色，添加了在 ECS 中運行任務和訪問 CloudWatch 日志的權限
• ECS 任務定義

您還需要在 MWAA 要求文件中添加apache-airflow[amazon] 。