ECS集群中的Arflow

Question

我以前使用过 Airflow 运行 Ubuntu VM。 我能够通过 WinSCP 和 putty 登录 VM 以运行命令并根据需要编辑 Airflow 相关文件。

但我第一次遇到运行 AWS ECS 集群的 Airflow。 我是 ECS 的新手所以，我想看看什么是最好的方法：

• 运行诸如“airflow dbinit”、停止/启动网络服务器和调度程序等命令...

• 安装新的 python 包，如“pip install”

• 在ECS集群中查看和编辑Airflow文件

我正在阅读有关 AWS CLI 和 ECS cli 的信息，它们有帮助吗？ 或者是否有任何其他可能的最佳方式可以让我执行上述操作。

提前致谢。

亲切的问候P。

Answer 1

有很多文章介绍了如何在 ECS 上运行 Airflow：

• https://tech.gc.com/apache-airflow-on-aws-ecs/

• https://towardsdatascience.com/building-an-etl-pipeline-with-airflow-and-ecs-4f68b7aa3b5b

• https://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

• 还有很多

[ 注意：Fargate 允许您通过 ECS 运行容器，而无需拥有 EC2 实例。 如果您想了解 Fargate 是什么的更多背景信息，请点击此处]

此外，AWS CLI 是一个通用 CLI，它映射了所有 AWS API（大部分是 1:1）。 您可以考虑将其用于您的部署（但它不应该是您的起点）。

ECS CLI 是一个更抽象的 CLI，它公开了特定于 ECS 的更高级别的构造和工作流。 请注意，ECS CLI 已被AWS Copilot取代，后者是一个自以为是的 CLI，用于在 ECS 上部署工作负载模式。 能够部署 Airflow 可能太自以为是了。

我的建议是通过上面的博客 go 并获得启发。