從 pyspark 訪問 s3 時，亞馬遜存儲桶的證書不匹配

Question

我有 EC2 實例，我正在嘗試將 PySpark 配置為從 S3 讀取。 我為 EC2 實例設置了完全訪問 IAM 角色，並在 spark 中使用了以下包：

com.amazonaws:aws-java-sdk-bundle:1.11.563,org.apache.hadoop:hadoop-aws:3.3.1

但是，我收到了一些新錯誤，我不確定這是什么意思：

: org.apache.hadoop.fs.s3a.AWSClientIOException: getFileStatus on s3a://bucket_name.stuff/mycsv.csv: com.amazonaws.SdkClientException: Unable to execute HTTP request: Certificate for <bucket_name.stuff.s3.amazonaws.com>不匹配任何主題備用名稱：[*.s3.amazonaws.com, s3.amazonaws.com]

Answer 1

所以問題原來是 pyspark、hadoop-aws 和 java-sdk 之間的版本不匹配（在我找到正確的版本設置之前，我遇到了各種不同的錯誤）對我有用的組合是：

pyspark 3.0.0
org.apache.hadoop:hadoop-aws:2.7.2
com.amazonaws:aws-java-sdk-pom:1.11.34