使用boto3从AWS S3下载特定文件

Question

我正在尝试将文件从Amazon S3下载到我的本地计算机。

我的存储桶中大约有100,000个jpeg文件，例如SFADOK_1737372938_26465755_29573736.jpeg 。

现在，我要下载所有结尾为*_29573736.jpeg

谁能帮我吗？

Answer 1

一种简单的方法是使用AWS命令行界面（CLI） ：

aws s3 cp s3://my-bucket/ . --recursive --exclude '*' --include '*_29573736.jpeg'

如果您希望通过boto3程序进行操作，则该程序需要：

• 使用list_objects_v2()从存储桶中获取对象列表
• 循环遍历列表中返回的每个对象：
  • 如果Key与您想要的样式匹配，则...
  • 使用download_file()下载对象

存储桶中有许多对象，您将需要使用ContinuationToken遍历list_objects_v2()或使用分页器自动遍历结果。 这是因为每个API调用最多返回1000个对象。