無法加載 AWS 憑證

Question

我正在按照下一個示例連接到 Amazon Kinesis Data Streams 並將連接的結果以 parquet 格式輸出到 Amazon S3： https://docs.aws.amazon.com/glue/latest/dg/glue-etl-scala-example .html

當我配置與 AWS 的連接並嘗試運行它時，它會引發下一個找不到憑據的錯誤，並且我已在“C:\Users\user.aws\credentials”中分配，我還添加了環境變量：

AWS_ACCESS_KEY_ID=XXX
AWS_SECRET_ACCESS_KEY=XxXX

但仍然失敗：

 ERROR AWSInstanceProfileCredentialsProviderWithRetries: Got an exception while fetching credentials org.apache.s
park.sql.kinesis.shaded.amazonaws.SdkClientException: Unable to load credentials from service endpoint

Answer 1

錯誤消息與您在"C:\Users\user.aws\credentials"中擁有的憑據無關，而是與實例配置文件中缺少憑據有關。

class AWSInstanceProfileCredentialsProviderWithRetries擴展了InstanceProfileCredentialsProvider ， 即：

從Amazon EC2 實例元數據服務加載憑證的憑證提供程序實施

您正在執行的代碼應該在 EC2 實例上運行，因此它希望從實例角色中獲取憑據。 更重要的是，實例角色應該擁有您的代碼所需的所有必要權限，例如，使用 Kinesis。

從您問題中提供的鏈接中，尚不清楚示例代碼應該在哪里准確執行。 無論是自定義的 ec2 實例，還是一些膠水相關的托管實例。