在 S3 文件上運行 Python 腳本

Question

我想在我的整個 S3 存儲桶上運行一個 python 腳本。 該腳本獲取文件並將它們插入到 csv 文件中。

如何像本地腳本一樣在 S3 文件上運行？ 使用“python https://s3url/ ”對我不起作用。

Answer 1

您可以使用 boto3 獲取 s3 存儲桶中所有文件的列表：

import boto3

bucketName = "Your S3 BucketName"

# Create an S3 client
s3 = boto3.client('s3')

for key in s3.list_objects(Bucket=bucketName)['Contents']: 
    print(key['Key'])

Answer 2

一個好主意是使用boto3 。 這是有關如何使用該模塊的簡單指南