如何在 Github Actions 作业中使用 AWS CLI 加速将数据从六个 S3 存储桶复制到另外六个 S3 存储桶

Question

我有一个 Github Actions 作业，它将数据从 6 个 S3 存储桶复制到另外 6 个 S3 存储桶。 问题是该过程大约需要 30 分钟才能完成，因为我必须在复制数据之前清除目标存储桶。

这是 Github Actions 作业的代码：

  restore-s3:
    runs-on: ubuntu-latest
    timeout-minutes: 60
    steps:
      - name: Assume Role
        uses: youyo/awscredswrap@v1.0.4
        with:
          role_arn: ${{ secrets.AWS_EKS_IAM_ROLE }}
          duration_seconds: 3600
          role_session_name: EKS
        env:
          AWS_ACCESS_KEY_ID: ${{ secrets.AWS_ACCESS_KEY_ID }}
          AWS_SECRET_ACCESS_KEY: ${{ secrets.AWS_SECRET_ACCESS_KEY }}
          AWS_DEFAULT_REGION: ${{ env.AWS_ECR_REGION }}
      - name: restore S3 data
        id: s3_dir
        run: |
          release_version=${{ inputs.data_version }}
          echo $release_version
          aws s3 rm --recursive s3://test.qa.avatar.file-2027145436775700000001/ &
          aws s3 rm --recursive s3://test.qa.avatar.origin-2027145436939200000007/ &
          aws s3 rm --recursive s3://test.qa.documents.original-2027145436794600000003/ &
          aws s3 rm --recursive s3://test.qa.documents.sdf-2027145436895500000005/ &
          aws s3 rm --recursive s3://test.qa.templates.original-2027145436908800000006/ &
          aws s3 rm --recursive s3://test.qa.templates.sdf-2027145436788200000002/ &
          wait
          aws s3 cp --recursive "s3://test.qa.avatar.file/$release_version/" s3://test.qa.avatar.file-2027145436775700000001/ &
          aws s3 cp --recursive "s3://test.qa.avatar.origin/$release_version/" s3://test.qa.avatar.origin-2027145436939200000007/ &
          aws s3 cp --recursive "s3://test.qa.documents.original/$release_version/" s3://test.qa.documents.original-2027145436794600000003/ &
          aws s3 cp --recursive "s3://test.qa.documents.sdf/$release_version/" s3://test.qa.documents.sdf-2027145436895500000005/ &
          aws s3 cp --recursive "s3://test.qa.templates.original/$release_version/" s3://test.qa.templates.original-2027145436908800000006/ &
          aws s3 cp --recursive "s3://test.qa.templates.sdf/$release_version/" s3://test.qa.templates.sdf-2027145436788200000002/ &
          wait
          echo "Restore completed"

GitHub 行动的矩阵策略是否适用于我的案例？

PS 我也尝试创建 python boto 脚本，但差异并不大

Answer 1

不要使用两个 CLI 调用，一个用于删除，一个用于复制，而是使用单个aws s3 sync 操作，例如：

aws s3 sync "s3://test.qa.avatar.file/$release_version/" s3://test.qa.avatar.file-2027145436775700000001/ --delete

--delete标志将确保从目标存储桶中删除源存储桶中不存在的任何内容。