在 AWS ECS 上使用 docker-compose 进行 Continuos 部署的最佳实践

Question

我是 ECS 的新手，我对如何使用具有多种服务的docker-compose文件自动在 AWS ECS Fargate 中进行部署有些困惑。

我能够通过以下步骤执行从 git 推送到部署单个容器的端到端：

1. 创建 AWS ECR
2. 标记 docker 图像
3. 创建 CodeCommit
4. 创建 CodeBuild
5. 创建代码部署
6. 使用任务描述创建集群
7. 创建管道以加入之前的所有内容并自动化直到结束。
8. 完毕

但是当您拥有多项服务时会发生什么？

1. 我是否必须修改docker-compose文件才能与 ECS 兼容？ 如果是这样，如果整个项目都在一个文件夹中（pydanny cookiecutter 结构），我该如何分离存储库？
2. 我是否必须为我的docker-compose的每个服务创建一个 ECR 存储库？
3. 自动化每个 ECR 的标签和推送以及其各自的部署以实现完整的端到端流程的步骤是什么？
4. 如何修改docker-compose的卷以在 ECS 上工作？

我使用以下由 pydanny cookiecutter 生成的docker-compose文件，它有 7 个服务：

Django + Postgres + Redis + Celery + Celeryworker + Celerybeat + Flower

docker-compose.yml

version: '3'

volumes:
  local_postgres_data: {}
  local_postgres_data_backups: {}

services:
  django: &django
    build:
      context: .
      dockerfile: ./compose/local/django/Dockerfile
    image: test_cd_django
    depends_on:
      - postgres
    volumes:
      - .:/app
    env_file:
      - ./.envs/.local/.django
      - ./.envs/.local/.postgres
    ports:
      - "8000:8000"
    command: /start

  postgres:
    build:
      context: .
      dockerfile: ./compose/production/postgres/Dockerfile
    image: test_cd_postgres
    volumes:
      - local_postgres_data:/var/lib/postgresql/data
      - local_postgres_data_backups:/backups
    env_file:
      - ./.envs/.local/.postgres

  redis:
    image: redis:3.2

  celeryworker:
    <<: *django
    image: test_cd_celeryworker
    depends_on:
      - redis
      - postgres

    ports: []
    command: /start-celeryworker

  celerybeat:
    <<: *django
    image: test_cd_celerybeat
    depends_on:
      - redis
      - postgres

    ports: []
    command: /start-celerybeat

  flower:
    <<: *django
    image: test_cd_flower
    ports:
      - "5555:5555"
    command: /start-flower

非常感谢您的帮助。

Answer 1

这取决于您是否要使用 docker-compose 来执行所有操作。 如果要使用 docker-compose 构建、推送和拉取，则需要使 docker-compose.yml 中的image块与 ECR 地址匹配。 例如

image: ${ID}.dkr.ecr.${region}.amazonaws.com/${image_name}:${image_tag:-latest}

我是否必须为我的 docker-compose 的每个服务创建一个 ECR 存储库？

您不必为每个服务创建一个 ECR 存储库，而是为您构建的每个映像创建一个 ECR 存储库。 在您的情况下，您不必为redis创建存储库，但您必须为 django 和 postgres 执行此操作，因为您正在使用 Dockerfile 构建它们。 celeryworker 和 celerybeat 使用 django 映像启动，因此您无需为它们创建额外的存储库。

自动化每个 ECR 的标签和推送以及其各自的部署以实现完整的端到端流程的步骤是什么？

在这里我只能提供一些建议，这完全取决于您的设置。 我倾向于尽可能地保持与云服务无关。 您可以在docker-compose.yml中定义如下图像：

services:
  postgres:
    image: ${ID}.dkr.ecr.${region}.amazonaws.com/my_postgres:${image_tag:-latest}
  django:
    image: <theID>.dkr.ecr.<theRegion>.amazonaws.com/my_django:${image_tag:-latest}

然后在构建过程中简单地准备一个.env文件，其中包含您需要的信息。 例如

image_tag=1.2.0

如何修改 docker-compose 的卷以在 ECS 上工作？

不幸的是，我无法回答这个问题，我找到了以下答案： https://devops.stackexchange.com/questions/6228/using-volumes-on-aws-fargate