如何在EMR实例中正确提供spark-redshift的凭据？

Question

我们尝试使用spark-redshift项目，遵循提供凭据的第3条建议。 即：

IAM实例配置文件：如果您在EC2上运行并使用IAM和实例配置文件对S3进行身份验证，则必须配置temporary_aws_access_key_id，temporary_aws_secret_access_key和temporary_aws_session_token配置属性以指向通过AWS Security Token Service创建的临时密钥。 然后，这些临时密钥将通过LOAD和UNLOAD命令传递给Redshift。

我们的Spark应用程序从EMR集群运行。 出于这个目的，我们尝试从此节点的内部实例中获取临时凭证，调用getSessionToken如下所示：

val stsClient = new AWSSecurityTokenServiceClient(new InstanceProfileCredentialsProvider())        
val getSessionTokenRequest = new GetSessionTokenRequest()
val sessionTokenResult =  stsClient.getSessionToken(getSessionTokenRequest);
val sessionCredentials = sessionTokenResult.getCredentials()

但是，即使具有sts:getSessionToken的策略应用于EMR实例的角色，也会抛出403 Access Denied 。

然后我们尝试了以下两种选择。 首先，使用AssumeRole策略：

val p = new STSAssumeRoleSessionCredentialsProvider("arn:aws:iam::123456798123:role/My_EMR_Role", "session_name")
val credentials: AWSSessionCredentials = p.getCredentials
val token = credentials.getSessionToken

第二，从InstanceProfileCredentialsProvider转换结果：

val provider = new InstanceProfileCredentialsProvider()
val credentials: AWSSessionCredentials = provider.getCredentials.asInstanceOf[AWSSessionCredentials]
val token = credentials.getSessionToken

他们都工作，但这是预期的方式吗？ 是否有关于转换结果或添加AssumeRole策略的错误？

谢谢！

Answer 1

GetSessionToken API旨在由IAM用户调用，如他们的文档中所述：

返回AWS账户或IAM用户的一组临时凭证。

在第一个示例中，您使用EMR实例角色调用API，这是一个IAM角色（ 这里解释了一些差异）。 在此特定情况下，EMR实例角色凭据是EMR代表您的实例获取的会话凭据。

您的错误的具体措辞是什么？ 如果它Cannot call GetSessionToken with session credentials ，那将确认以上所有内容。

当您将实例角色转换为会话令牌时，它会起作用，因为如上所述，假设角色的凭据是会话凭据，因此它才有效。

显式调用AssumeRole没有错。 这正是EMR服务所做的。 将结果转换为会话凭据也没有任何问题，因为它们几乎可以保证成为用例的会话凭据。