在 S3 文件上运行 Python 脚本

Question

我想在我的整个 S3 存储桶上运行一个 python 脚本。 该脚本获取文件并将它们插入到 csv 文件中。

如何像本地脚本一样在 S3 文件上运行？ 使用“python https://s3url/ ”对我不起作用。

Answer 1

您可以使用 boto3 获取 s3 存储桶中所有文件的列表：

import boto3

bucketName = "Your S3 BucketName"

# Create an S3 client
s3 = boto3.client('s3')

for key in s3.list_objects(Bucket=bucketName)['Contents']: 
    print(key['Key'])

Answer 2

一个好主意是使用boto3 。 这是有关如何使用该模块的简单指南