在Amazon s3中下载批量对象

Question

在Amazon S3中，我在该存储桶下创建了1个存储桶，其中包含多个子文件夹，例如<bucket_name>/<year>/<month>/<day>/files （即对象）。

我需要功能，可以根据要求按年/月/日下载批量对象，所有文件均采用zip格式。

Amazon Java SDK有什么办法可以做到这一点？

Answer 1

Transfer Manager库提供了MultipleFileDownload方法，该方法提供整个虚拟目录的多个文件下载 。 但是，内容未压缩。

请参阅： MultipleFileDownload javadoc

由于您的对象按年/月/日在目录中，因此可以使用此方法下载特定路径中的所有文件。 但是，不会压缩文件。

Answer 2

您可以使用mc工具来实现它： mc cp -r https://bucketName.s3.amazonaws.com/<year>/<month>/<day> backupdir它从S3复制到本地目录backup

然后可以通过以下方式zip backupdir.zip -r backupdir backup目录： zip backupdir.zip -r backupdir