使用Spark / Scal應用訪問s3時找不到AWS憑證

Question

我正在使用Windows環境，未安裝hadoop，我有一個包含bin和winutils的hadoop文件夾，僅此而已。

我已經按照文檔為id和secret設置了環境變量，但是不斷收到此異常：

Exception in thread "main" java.lang.IllegalArgumentException: AWS Access Key ID and Secret Access Key must be specified as the username or password (respectively) of a s3n URL, or by setting the fs.s3n.awsAccessKeyId or fs.s3n.awsSecretAccessKey properti

知道我該如何解決嗎？

我已經確認變量是通過回顯它們來設置的，但它們不會被拾取-謝謝。/

Answer 1

您是否嘗試過這種配置？

val sc = new SparkContext(conf)
val hadoopConf = sc.hadoopConfiguration;
hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem")
hadoopConf.set("fs.s3.awsAccessKeyId",myAccessKey)
hadoopConf.set("fs.s3.awsSecretAccessKey",mySecretKey)