如何使用 S3API 或任何其他实用程序在 S3 Bucket 中查找“仅文件夹”？

Question

如何在具有超过 8000 万个对象/键的 S3 存储桶中获取“唯一”文件夹列表（此时列表未知）？

供应商最初将数百万个 gz 文件直接上传到存储桶的根目录 (Bucket-Vend)，而不是创建文件夹。 当他们意识到时，他们在 Bucket-Vend 下创建了文件夹； 但是并没有删除数百万个单独的文件。 为了清理混乱，我们正在寻找是否可以直接在此存储桶（Bucket-Vend）下“仅”获取文件夹名称。 我们已尝试使用 Cloudwatch 和 S3api，但不幸的是，我们无法获得此存储桶级别的文件夹列表。 这个想法是一旦我们知道文件夹，我们就可以将文件夹移动到另一个存储桶，然后删除所有单个文件，最后删除存储桶（Bucket-Vend）。 任何帮助表示赞赏！

Answer 1

鉴于您的存储桶中的对象数量，我建议使用Amazon S3 Inventory来获取列出存储桶中所有对象的每日 CSV 文件。

文件夹可能显示为零长度对象，或者您可以只从对象名称中提取文件夹名称（例如folder1/foo.txt在folder1 ）。

给定列表，然后您可以编写程序将对象复制到所需位置，或使用AWS 命令​​行界面 (CLI) aws s3 mv命令来“移动”对象（通过执行复制和删除） . 它还可以在存储桶之间“移动”文件夹。