AWS實例distcp到s3 - 訪問密鑰

Question

如果我有一個使用角色創建的EC2實例，那么從hdfs到s3獲取訪問密鑰以執行distcp的最佳實踐方法是什么？

我不想使用我們的自動部署工具向實例發送訪問密鑰，因為這意味着將密鑰存儲在視線中。 有沒有辦法讓實例使用CLI請求一組密鑰？

我需要將它們用於hadoop distcp /data s3n://<access_key>:<secret_key>@mybucket/baackup/data

Answer 1

當使用角色啟動Amazon EC2實例時，實例將通過Instance元數據服務授予對臨時安全密鑰的訪問權限。 它的工作原理如下：

• 在身份和訪問管理（IAM）中創建角色
• 為角色授予適當的權限
• 啟動 Amazon EC2實例並選擇該角色。 如果您使用Amazon Elastic MapReduce（EMR）來啟動實例，那么通常會為它們分配一個特定於EMR的角色（您可以修改它）
• 通過URL http://169.254.169.254/latest/meta-data/iam/security-credentials/為實例提供一組臨時安全證書。

調用AWS SDK的軟件知道自動查看此URL以檢索安全憑據。 如果您使用的軟件沒有自動查看此URL，您可以提取它們並將它們傳遞給軟件。

請參閱： 從實例元數據中檢索安全憑據