在同一Amazon S3存储桶中复制文件

Question

我正在尝试将存储桶上的整个/contentstore/文件夹复制到带有时间戳的版本。 基本上/contenstore/将复制到/contentstore/20130729/ 。

我的整个脚本首先使用s3s3mirror将生产的S3存储桶克隆到备份中。 然后，我想将备份重命名为带有时间戳的副本，以便可以保留同一版本的多个版本。

我有一个使用s3cmd的工作版本，但似乎花费了异常长时间。 两个存储桶之间的s3s3mirror部分在几分钟之内完成，可能是因为它是对现有文件夹的刷新。 但是，即使是干净的s3s3mirror （没有备份的现有Contentstore），也要花费20分钟左右。

另一方面，将conentstore复制到带时间戳的副本到备份存储桶上需要一个小时又10分钟。

我做错了什么吗？ 同一存储桶中的数据副本是否应该比两个不同存储桶之间的完整克隆花费更长的时间？

任何想法，将不胜感激。

PS：我正在运行的命令是s3cmd --recursive cp backupBucket/contentStore/ backupBucket/20130729/

Answer 1

由于您的源路径包含您的目标路径，因此实际上您可能会复制多个对象-首先复制到目标路径，然后在该目标路径与您的源前缀匹配时再次复制。 这也可以解释为什么复制到其他存储桶比在同一存储桶中复制更快。

如果您使用的是s3s3mirror，请使用-v选项，您将确切看到要复制的内容。 它显示多次复制同一密钥吗？