EC2上的Cloudera CDH

Question

我是aws新手，我正嘗試通過Cloudera的AMI在EC2上運行Hadoop。 我安裝了AMI，下載了cloudera-haddop-for-ec2-tools，現在我正在嘗試配置

haddop-ec2-env.sh

它要求以下內容：

AWS_ACCOUNT_ID
AWS_ACCESS_KEY_ID
AWS_SECRET_ACCESS_KEY
EC2_KEYDIR
PRIVATE_KEY_PATH

運行時：

./hadoop-ec2 launch-cluster my-cluster 10

我越來越

AWS was not able to validate the provided access credentials

首先，我擁有自己帳戶的前3個屬性。 這是一個公司帳戶，我收到了一封電子郵件，其中包含我的電子郵件的訪問密鑰ID和秘密訪問密鑰。 我的帳戶可能沒有適當的權限來執行此處所需的操作。 究竟為什么這個腳本需要我的憑據？ 它需要做什么？

其次，EC2密鑰目錄在哪里？ 我已經上傳了亞馬遜為我創建的key.pem文件，並將其硬編碼到.pem文件的PRIVATE_KEY_PATH和chmod 400中。 這是該腳本所需的正確密鑰嗎？

任何幫助表示贊賞嗎？

山姆

Answer 1

cloudera ec2工具在很大程度上依賴於Amazon ec2 api工具。 因此，您必須執行以下操作：

1）從http://aws.amazon.com/developertools/351下載Amazon EC2 API工具

2）從http://cloudera-packages.s3.amazonaws.com/cloudera-for-hadoop-on-ec2-0.3.0.tar.gz下載cloudera ec2工具

3）設置以下環境變量我只給出基於Unix的例子

export EC2_HOME=<path-to-tools-from-step-1>
export $PATH=$PATH:$EC2_HOME/bin
export $PATH=$PATH:<path-to-cloudera-ec2-tools>/bin
export EC2_PRIVATE_KEY=<path-to-private-key.pem>
export EC2_CERT=<path-to-cert.pem>

4）在cloudera-ec2-tools / bin中設置以下變量

AWS_ACCOUNT_ID=<amazon-acct-id>
AWS_ACCESS_KEY_ID=<amazon-access-key>
AWS_SECRET_ACCESS_KEY=<amazon-secret-key>
EC2_KEYDIR=<dir-where-the-ec2-private-key-and-ec2-cert-are>
KEY_NAME=<name-of-ec2-private-key>

然后跑

$ hadoop-ec2 launch-cluster my-hadoop-cluster 10

這將在多台ec2計算機上創建一個名為“ my-hadoop”的Hadoop集群，其中包含10個節點