從AWS S3 pyspark讀取文件數據

Question

我在s3中放置了一個json文件。 s3網址類似於以下網址：

https://s3-eu-region-1.amazonaws.com/dir-resources/sample.json

但是在pyspark中傳遞相同的內容時，它沒有讀取文件。

path = "https://s3-eu-region-1.amazonaws.com/dir-resources/sample.json"
df=spark.read.json(path)

但是我可以通過瀏覽器下載它。

Answer 1

假設dir-resources是存儲桶的名稱，則您應該能夠使用以下URI訪問文件：

path = "s3://dir-resources/sample.json"

在某些情況下，您可能不得不使用s3n協議：

path = "s3n://dir-resources/sample.json"