使用Datastax Spark中的Scala将文件从S3存储桶读取到Spark Dataframe，并提交给AWS错误消息：错误的请求

Question

我正在尝试读取位于孟买地区s3存储桶上的CSV文件。我正在尝试使用datastax dse spark-submit读取文件。

我尝试将hadoop-aws版本更改为其他各种版本。 当前，hadoop-aws版本是2.7.3

spark.sparkContext.hadoopConfiguration.set("com.amazonaws.services.s3.enableV4", "true")

spark.sparkContext.hadoopConfiguration.set("fs.s3a.endpoint", "s3.ap-south-1.amazonaws.com")

spark.sparkContext.hadoopConfiguration.set("fs.s3a.access.key", accessKeyId)

spark.sparkContext.hadoopConfiguration.set("fs.s3a.secret.key", secretAccessKey)

spark.sparkContext.hadoopConfiguration.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")

val df = spark.read.csv("s3a://bucket_path/csv_name.csv")

执行后，以下是我得到的错误，

线程“主”中的异常com.amazonaws.services.s3.model.AmazonS3Exception：状态代码：400，AWS服务：Amazon S3，AWS请求ID：8C7D34A38E359FCE，AWS错误代码：null，AWS错误消息：com上的错误请求。 com上的amazonaws.http.AmazonHttpClient.handleErrorResponse（AmazonHttpClient.java:798）com.amazonaws.http.AmazonHttpClient.executeHelper（AmazonHttpClient.java:421）com.amazonaws.http.AmazonHttpClient.execute（AmazonHttpClient.java:232） com.amazonaws.services.s3上的.amazonaws.services.s3.AmazonS3Client.invoke（AmazonS3Client.java:3528）com.amazonaws.services.s3.AmazonS3Client.headBucket（AmazonS3Client.java:1031）上com.amazonaws.services.s3.AmazonS3Client.doesBucketExist（AmazonS3Client .java：994），位于org.apache.hadoop.fs.s3a.S3AFileSystem.initialize（S3AFileSystem.java:297），位于org.apache.hadoop.fs.FileSystem.createFileSystem（FileSystem.java:2653），位于org.apache。在org.apache.hadoop.fs.FileSystem $ Cache.getInternal（FileSystem.java:2687）上的hadoop.fs.FileSystem.access $ 200（FileSystem.java:92）在org.apache.hado上 org.apache.hadoop.fs.FileSystem.get（FileSystem.java:371）上的op.fs.FileSystem $ Cache.get（FileSystem.java:2669）org.apache.hadoop.fs.Path.getFileSystem（Path。 java：295），位于org.apache.spark的org.apache.spark.sql.execution.datasources.DataSource $ .org $ apache $ spark $ sql $ exe $ ion $ datasources $ DataSource $$ checkAndGlobPathIfNecessary（DataSource.scala：616）处。 sql.execution.datasources.DataSource $$ anonfun $ 14.apply（DataSource.scala：350）位于org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 14.apply（DataSource.scala：350）位于scala。在scala.collection处的collection.TraversableLike $$ anonfun $ flatMap $ 1.apply（TraversableLike.scala：241）在scala.collection.immutable.List.foreach（） List.scala：392）位于scala.collection.TraversableLike $ class.flatMap（TraversableLike.scala：241）位于scala.collection.immutable.List.flatMap（List.scala：355）位于org.apache.spark.sql.execution org.apa上的.datasources.DataSource.resolveRelation（DataSource.scala：349） 位于org.apache.spark.sql.DataFrameReader.csv（DataFrameReader.scala：533）的che.spark.sql.DataFrameReader.load（DataFrameReader.scala：178）位于org.apache.spark.sql.DataFrameReader.csv（DataFrameReader。斯卡拉：412）

Answer 1

您的签名V4选项未应用。 看这个

运行spark-submit或spark-shell时，添加java选项。

spark.executor.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true
spark.driver.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true

或者，设置系统属性，例如：

System.setProperty("com.amazonaws.services.s3.enableV4", "true");

Answer 2

感谢您的所有帮助。 我从Lamanus的答案中得知，即使将签名V4选项添加到其中，也未应用

spark.sparkContext.hadoopConfiguration.set("com.amazonaws.services.s3.enableV4", "true")

因此，我添加了以下行，现在代码可以正常运行。

import com.amazonaws.SDKGlobalConfiguration

System.setProperty(SDKGlobalConfiguration.ENABLE_S3_SIGV4_SYSTEM_PROPERTY, "true")