AWS Glue 的 CI/CD 管道

Question

我是 AWS Glue 的新用户，它是一种新的 AWS 托管服务，可轻松编排批处理作业工作流。

• 我有 3 个不同的 AWS IAM 账户（Dev、Test、Prod）。 每个帐户单独登录。
• Glue、Scala 作业在我的 Github 存储库中进行版本控制。
• 我想构建一个 CI/CD 管道，以便在我提交和推送我的 Github 存储库时自动化我的 Glue 作业的测试、构建和部署。

我浏览了许多描述 CI/CD 最佳实践的博客和文章。 我发现了一个很好的文章（CI / CD特别在数据管道工作流程）在AWS博客在这里。 它非常简单，并且包含使用 CodeCommit 和 AWS Cloudformation 构建 CodePipeline 的详细信息。 但是 CI/CD 的所有阶段都在同一个 AWS IAM 账户中启动和结束。

我有两个问题：

1. 将 Dev、Test 和 Prod 帐户（不同的 IAM）分开来构建和管理数据管道/数据仓库是一个好习惯吗？
2. 如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

关于为 AWS-Glue 设计 CI/CD 管道的最佳实践有什么建议吗？

Answer 1

请参考此其详细解释在一个安全的方式建立跨多个账户CI / CD管道。

将 Dev、Test 和 Prod 帐户（不同的 IAM）分开来构建和管理数据管道/数据仓库是一个好习惯吗？

是的，这是一个很好的做法。

如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

请参考共享链接

Answer 2

将 Dev、Test 和 Prod 帐户（不同的 IAM）分开来构建和管理数据管道/数据仓库是一个好习惯吗？

是的，将不同 AWS 账户中的环境分开是一种很好的做法，也是推荐的安全做法。

如果是，我将如何使用 3 个不同的 IAM 帐户设计 CI/CD 管道？

这是一篇博客，它定义了如何在不同的 AWS 账户中配置资源并安全地与它们通信。