AWS实例distcp到s3 - 访问密钥

Question

如果我有一个使用角色创建的EC2实例，那么从hdfs到s3获取访问密钥以执行distcp的最佳实践方法是什么？

我不想使用我们的自动部署工具向实例发送访问密钥，因为这意味着将密钥存储在视线中。 有没有办法让实例使用CLI请求一组密钥？

我需要将它们用于hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data

Answer 1

当使用角色启动Amazon EC2实例时，实例将通过Instance元数据服务授予对临时安全密钥的访问权限。 它的工作原理如下：

• 在身份和访问管理（IAM）中创建角色
• 为角色授予适当的权限
• 启动 Amazon EC2实例并选择该角色。 如果您使用Amazon Elastic MapReduce（EMR）来启动实例，那么通常会为它们分配一个特定于EMR的角色（您可以修改它）
• 通过URL http://169.254.169.254/latest/meta-data/iam/security-credentials/为实例提供一组临时安全证书。

调用AWS SDK的软件知道自动查看此URL以检索安全凭据。 如果您使用的软件没有自动查看此URL，您可以提取它们并将它们传递给软件。

请参阅： 从实例元数据中检索安全凭据