如何使用 AWS CodeDeploy/CodePipeline/S3 使用 Gitlab-Ci 部署到 EC2

Question

我一直在使用 Gradle 开发基于 Scala 的 SlackBot 项目，并且一直在寻找利用 Gitlab-CI 以部署到 AWS EC2 的方法。

我能够使用 Gitlab-CI 完全构建和测试我的应用程序。

如何使用 CodeDeploy 和 CodePipeline 执行从 Gitlab-CI 到 Amazon EC2 的部署？

回答以作为指南来执行此操作。

Answer 1

我创建了一组示例文件以配合下面提供的指南。 这些文件可从以下链接获得： https : //gitlab.com/autronix/gitlabci-ec2-deployment-samples-guide/

范围

本指南假定以下内容

• Gitlab EE 托管项目 - 可用于私有 CE/EE 实例（未测试）
• Gitlab 作为 GIT 版本控制存储库
• Gitlab-CI 作为持续集成引擎
• 现有 AWS 账户
• AWS EC2 作为部署的目标生产或暂存系统
• 运行 Amazon Linux AMI 的 AWS EC2 实例
• AWS S3 作为部署文件的存储设施
• AWS CodeDeploy 作为项目的部署引擎
• AWS CodePipeline 作为部署管道

提供的.gitlab-ci.yml示例基于 Java/Scala + Gradle 项目。 该脚本作为通用示例提供，在通过此方法实现持续交付时需要根据您的特定需求进行调整。

本指南将假设用户具有有关 AWS 服务以及如何执行必要任务的基本知识。

注意：本示例中提供的指南使用 AWS 控制台来执行任务。 虽然此处执行的任务可能有 CLI 等效项，但本指南不会涵盖这些内容。

动机

创建这些脚本和部署指南的动机来自于缺乏适当的教程来展示如何使用 Gitlab 和 AWS EC2 实现持续交付。 Gitlab 通过与 Digital Ocean 合作推出了他们免费提供的 CI 引擎，这使用户存储库能够免费从高质量的 CI 中受益。

使用 Gitlab 的主要优势之一是它们提供了内置的持续集成容器，用于运行各个步骤并验证构建。 不幸的是，Gitblab 和 AWS 都提供了允许在通过构建后执行持续交付的集成。

本指南和脚本 ( https://gitlab.com/autronix/gitlabci-ec2-deployment-samples-guide/ ) 提供了我为使用 Gitlab 成功进行 CI 和 CD 所采取的步骤的简化版本和 AWS EC2 可以帮助其他任何人开始使用这种类型的实施。

在 AWS 上设置环境

确保持续交付过程成功的第一步是在 AWS 上设置必要的对象，以便部署过程成功。

AWS IAM 用户

最初的要求是设置一个 IAM 用户：

https://console.aws.amazon.com/iam/home#users

1. 创建用户

2. 附加以下权限：

   • CodePipelineFullAccess
   • AmazonEC2FullAccess
   • AmazonS3FullAccess
   • AWSCodeDeployFullAccess

   • 内联政策：

      { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "autoscaling:*", "codedeploy:*", "ec2:*", "elasticloadbalancing:*", "iam:AddRoleToInstanceProfile", "iam:CreateInstanceProfile", "iam:CreateRole", "iam:DeleteInstanceProfile", "iam:DeleteRole", "iam:DeleteRolePolicy", "iam:GetInstanceProfile", "iam:GetRole", "iam:GetRolePolicy", "iam:ListInstanceProfilesForRole", "iam:ListRolePolicies", "iam:ListRoles", "iam:PassRole", "iam:PutRolePolicy", "iam:RemoveRoleFromInstanceProfile", "s3:*" ], "Resource": "*" } ] }

3. 生成安全凭证

注意：上面列出的政策范围非常广泛。 您可以通过创建限制对某些资源的访问的自定义策略来适应您的要求。

注意：请将这些凭据保存在安全的位置。 您将在后面的步骤中用到它们。

AWS EC2 实例和角色

CodeDeploy 的实例角色

https://console.aws.amazon.com/iam/home#roles

创建一个将分配给您的 EC2 实例以访问 S3 的新角色，

1. 根据您的命名约定设置名称（即MyDeploymentAppRole ）
2. 选择Amazon EC2以允许 EC2 实例运行其他 AWS 服务
3. 附上以下政策：
   • AmazonEC2FullAccess
   • AmazonS3FullAccess
   • AWSCodeDeploy 角色

注意：上面列出的政策范围非常广泛。 您可以通过创建限制对某些资源的访问的自定义策略来适应您的要求。

启动实例

https://console.aws.amazon.com/ec2/v2/home

单击Launch Instance并按照以下步骤操作：

• 选择Amazon Linux AMI 2016.03.3 (HVM), SSD Volume Type
• 选择需要的实例类型（默认为t2.micro）
  • 下一个
• 选择IAM Role为MyDeploymentAppRole （基于上一节中创建的名称）
  • 下一个
• 选择合适的存储
  • 下一个
• 使用适当的名称标记您的实例（即MyApp-Production-Instance ）
  • 根据需要添加其他标签
  • 下一个
• 根据需要配置安全组
  • 下一个
• 查看并启动您的实例

您将可以生成或使用 SSH 密钥。 请选择适当的适用方法。

设置实例环境

安装 CodeDeploy 代理

登录到您新创建的 EC2 实例并按照说明进行操作：

• http://docs.aws.amazon.com/codedeploy/latest/userguide/how-to-run-agent-install.html

CodeDeploy 重要路径：

• CodeDeploy 部署基目录： /opt/codedeploy-agent/deployment-root/
• CodeDeploy 日志文件： /var/log/aws/codedeploy-agent/codedeploy-agent.log

提示：运行tail -f /var/log/aws/codedeploy-agent/codedeploy-agent.log以实时跟踪部署。

安装您的项目先决条件如果您的项目有任何要运行的先决条件，请确保在运行部署之前安装这些先决条件，否则您的启动脚本可能会失败。

AWS S3 存储库

https://console.aws.amazon.com/s3/home

在此步骤中，您需要创建一个 S3 存储桶来保存您的部署文件。

只需按照以下步骤操作：

1. 选择Create Bucket
   • 选择存储桶名称（即my-app-codepipeline-deployment ）
   • 选择地区
2. 在存储桶的控制台中，选择Properties
   • 展开Versioning菜单
   • 选择Enable Versioning

AWS 代码部署

https://console.aws.amazon.com/codedeploy/home#/applications

现在基本元素已设置，我们已准备好在 CodeDeploy 中创建部署应用程序

要创建 CodeDeploy 部署应用程序，请执行以下步骤：

1. 选择Create New Application
2. 选择一个应用程序名称（即MyApp-Production ）
3. 选择一个部署组名称（即MyApp-Production-Fleet ）
4. 选择将受此部署影响的 EC2 实例 - Search by Tags
   • 在Key选择Name
   • 在Value选择MyApp-Production-Instance
5. 在Service Role ，选择MyDeploymentAppRole
6. 点击Create Application

注意：您可以将部署分配给任何适用于部署目标实例的相关标签。 为简单起见，仅使用名称标签来选择先前定义的实例。

AWS 代码管道

https://console.aws.amazon.com/codepipeline/home#/dashboard

下一步是继续创建 CodePipeline，它负责执行 S3 存储桶和 CodeDeploy 进程之间的连接。

要创建 CodePipeline，请执行以下步骤：

1. 点击Create Pipeline
2. 命名您的管道（即MyAppDeploymentPipeline ）
   • 下一个
3. 将Source Provider设置为Amazon S3
   • 将Amazon S3 location设置为您的存储桶和目标部署文件的地址（即s3://my-app-codepipeline-deployment/myapp.zip ）
   • 下一个
4. 将Build Provider设置为None - 这已经由 Gitlab-CI 处理，稍后将介绍
   • 下一个
5. 将Deployment Provider设置为AWS CodeDeploy
   • 将Application Name设置为您的 CodeDeploy 应用程序的名称（即MyApp-Production ）
   • 将Deployment Group设置为您的 CodeDeploy 部署组的名称（即MyApp-Production-Fleet ）
   • 下一个
6. 创建或选择管道服务角色
   • 下一个
7. 查看并单击Create Pipeline

在 Gitlab 上设置环境

现在 AWS 环境已准备好接收应用程序部署，我们可以继续设置 CI 环境和设置，以确保使用 S3、CodeDeploy 和 CodePipeline 构建代码并将其部署到 EC2 实例。

Gitlab 变量

为了使部署工作，我们需要在项目存储库中设置一些环境变量。

在您的 Gitlab 项目中，导航到您项目的Variables区域并设置以下变量：

• AWS_DEFAULT_REGION => 您的 AWS 区域
• AWS_SECRET_ACCESS_KEY => 您的 AWS 用户凭证密钥（在您为用户生成凭证时获得）
• AWS_ACCESS_KEY_ID => 您的 AWS 用户凭证密钥 ID（在您为用户生成凭证时获得）
• AWS_S3_LOCATION => 部署 zip 文件的位置（即s3://my-app-codepipeline-deployment/my_app.zip ）

这些变量将由 Gitlab-CI 容器执行的脚本访问。

启动脚本

提供了一个简单的启动脚本（ https://gitlab.com/autronix/gitlabci-ec2-deployment-samples-guide/blob/master/deploy/extras/my_app.sh ）以允许部署执行以下任务：

• 启动应用程序并创建一个PID文件
• 通过PID文件查看应用状态
• 停止应用

您可以在deploy/extras/my_app.sh下找到此脚本

创建 gitlab-ci.yml

gitlab-ci.yml文件负责执行与给定提交相关的持续集成任务。 它充当一组简化的 shell 脚本，这些脚本按阶段组织，对应于持续集成步骤中的不同阶段。

有关详细信息和参考的更多信息，请参阅以下两个链接：

• http://docs.gitlab.com/ce/ci/quick_start/README.html
• http://docs.gitlab.com/ce/ci/yaml/README.html

您可以随时使用以下工具验证gitlab-ci.yml文件的语法： https : gitlab-ci.yml

出于部署的目的，我们将仅介绍本指南提供的样本的最后一部分：

deploy-job:
  # Script to run for deploying application to AWS
  script:
    - apt-get --quiet install --yes python-pip # AWS CLI requires python-pip, python is installed by default
    - pip install -U pip  # pip update
    - pip install awscli  # AWS CLI installation
    - $G build -x test -x distTar # # Build the project with Gradle
    - $G distZip  # creates distribution zip for deployment
    - aws s3 cp $BUNDLE_SRC $AWS_S3_LOCATION # Uploads the zipfile to S3 and expects the AWS Code Pipeline/Code Deploy to pick up
  # requires previous CI stages to succeed in order to execute
  when: on_success
  stage: deploy
  environment: production
  cache:
    key: "$CI_BUILD_NAME/$CI_BUILD_REF_NAME"
    untracked: true
    paths:
        - build/
  # Applies only to tags matching the regex: ie: v1.0.0-My-App-Release
  only:
    - /^v\d+\.\d+\.\d+-.*$/
  except:
    - branches
    - triggers

这部分代表与之前（如果有）CI 阶段之后的部署相关的整个作业。

与部署相关的相关部分是这样的：

# Script to run for deploying application to AWS
script:
  - apt-get --quiet install --yes python-pip # AWS CLI requires python-pip, python is installed by default
  - pip install -U pip  # pip update
  - pip install awscli  # AWS CLI installation
  - $G build -x test -x distTar # # Build the project with Gradle
  - $G distZip  # creates distribution zip for deployment
  - aws s3 cp $BUNDLE_SRC $AWS_S3_LOCATION # Uploads the zipfile to S3 and expects the AWS Code Pipeline/Code Deploy to pick up

第一步涉及安装 python 包管理系统： pip 。 pip需要安装 AWS CLI，这是将部署文件上传到 AWS S3 所必需的

在这个例子中，我们使用 Gradle（由环境变量$G定义）； Gradle 提供了一个模块来自动压缩部署文件。 根据您部署的项目类型，此方法用于生成分发 zip 文件my_app.zip会有所不同。

aws s3 cp $BUNDLE_SRC $AWS_S3_LOCATION命令将分发 zip 文件上传到我们之前定义的 Amazon S3 位置。 然后 CodePipeline 会自动检测此文件，进行处理并发送到 CodeDeploy。 最后，CodeDeploy 通过appspec.yml文件指定的 CodeDeploy 代理执行必要的任务。

创建 appspec.yml

appspec.yml定义了 CodeDeploy 在收到部署文件后要遵循的行为。

本指南随附了一个示例文件以及在部署的各个阶段执行的示例脚本。

有关如何构建appspec.yml文件的更多信息，请参阅 CodeDeploy AppSpec 的规范： http : appspec.yml

生成部署 ZipFile

为了让 CodeDeploy 正常工作，您必须为您的应用程序创建一个正确生成的 zip 文件。

zip 文件必须包含：

• 拉链根
  • appspec.yml => CodeDeploy 部署说明
  • 部署阶段脚本
  • 提供的示例将放置在 zip 文件的scripts目录中，需要将my_app.sh脚本添加到应用程序目录的根目录（即 zip 中的my_app目录）
  • 分发代码 - 在我们的示例中，它位于my_app目录下

Gradle 和 Maven 等工具能够生成分发 zip 文件，并对 zip 生成过程进行某些更改。 如果你不使用这样的工具，你可能需要指示 Gitlab-CI 以不同的方式生成这个 zip 文件； 此方法超出了本指南的范围。

将您的应用程序部署到 EC2

本指南的最后一步实际上是执行成功的部署。

持续集成的阶段由gitlab-ci.yml设置的规则定义。 本指南提供的示例将为与以下正则表达式匹配的任何参考启动部署： /^v\\d+\\.\\d+\\.\\d+-.*$/ 。

在这种情况下，通过 git 将 Tag v1.0.0-My-App-Alpha-Release推送到远程 Gitlab 将启动部署过程。 您可以根据您的项目要求调整这些规则。

提供的gitlab-ci.yml示例在检测 Tag v1.0.0-My-App-Alpha-Release时将执行以下作业：

• 构建作业 - 编译源代码
• 测试作业 - 运行单元测试
• deploy-job - 编译源代码，生成分发 zip，将 zip 上传到 Amazon S3

将分发 zip 上传到 Amazon S3 后，将执行以下步骤：

• CodePipeline 检测 S3 zip 文件修订版的更改
• CodePipeline 验证文件
• CodePipeline 发送 CodeDeploy 包准备就绪的信号
• CodeDeploy 执行部署步骤
  • 开始 - 部署的初始化
  • 应用程序停止 - 为钩子执行定义的脚本
  • DownloadBundle - 通过 CodePipeline 从 S3 存储库获取捆绑文件
  • BeforeInstall - 为钩子执行定义的脚本
  • 安装 - 将内容复制到appspec.yml的files部分定义的部署位置
  • AfterInstall - 为钩子执行定义的脚本
  • ApplicationStart - 为钩子执行定义的脚本
  • ValidateService - 为钩子执行定义的脚本
  • End - 向 CodePipeline 发出部署已成功完成的信号

部署成功截图：

参考文献

• Gitlab-CI 快速入门： http ://docs.gitlab.com/ce/ci/quick_start/README.html
• Gitlab-CI .gitlab-ci.yml： http ://docs.gitlab.com/ce/ci/yaml/README.html
• AWS CodePipeline 演练： http ://docs.aws.amazon.com/codepipeline/latest/userguide/getting-started-w.html
• 安装或重新安装 AWS CodeDeploy 代理： http ://docs.aws.amazon.com/codedeploy/latest/userguide/how-to-run-agent-install.html
• AWS CLI 入门 - 环境： http : //docs.aws.amazon.com/cli/latest/userguide/cli-chap-getting-started.html#cli-environment
• AppSpec 参考： http ://docs.aws.amazon.com/codedeploy/latest/userguide/app-spec-ref.html

Answer 2

autronix 的回答很棒，尽管在我的情况下，由于以下错误，我不得不放弃 CodePipeline 部分： The deployment failed because a specified file already exists at this location : /path/to/file 。 这是因为我在该位置已经有了文件，因为我使用的是一个现有实例，其中一个服务器已经在上面运行。

这是我的解决方法：

在.gitlab-ci.yml中，我更改了以下内容：

deploy:
  stage: deploy
  script:
    - curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip" # Downloading and installing awscli
    - unzip awscliv2.zip
    - ./aws/install
    - aws deploy push --application-name App-Name --s3-location s3://app-deployment/app.zip # Adding revision to s3 bucket
    - aws deploy create-deployment --application-name App-Name --s3-location bucket=app-deployment,key=app.zip,bundleType=zip --deployment-group-name App-Name-Fleet --deployment-config-name CodeDeployDefault.OneAtATime --file-exists-behavior OVERWRITE # Ordering the deployment of the new revision
  when: on_success
  only:
    refs:
      - dev

重要的部分是带有标志--file-exists-behavior的aws deploy create-deployment行。 有三个可用选项， OVERWRITE是我需要的选项，我无法使用 CodePipeline 设置此标志，所以我使用了 cli 选项。

我还对上传 .zip 的部分进行了一些更改。 我没有自己创建 .zip，而是使用aws deploy push命令，它会在 s3 存储桶上为我创建一个 .zip。

真的没有什么可以修改的。