从 Google Cloud Storage 中删除大文件夹

Question

我在 Google Cloud Storage 存储桶中有一个文件夹，其中包含数百万个需要删除的文件。

什么是删除这个大文件夹而不删除整个存储桶的有效方法？

我试过使用gsutil rm命令，但似乎需要很长时间才能完成删除所有文件。

此外，我还阅读了有关Object 生命周期管理策略的信息，但我读到它们适用于整个存储桶，而不是任何特定文件夹。

谢谢你的帮助： ：）

Answer 1

gsutil rm最快。 您唯一的选择是编写代码以列出并删除每个代码，这就是gsutil将为您完成的工作。

Answer 2

试试Storage Transfer Service ，我的经验是每秒可以删除 1-1.5k 个对象。

通过从为空的源存储桶（或存储桶中的文件夹）复制到您希望为空的目标存储桶或文件夹来删除文件，并使用在目标位置删除不在源选项中的文件。

如果使用 GUI select 高级传输选项对话框中的此项目符号：

您还可以从 CLI 创建和运行作业。 此示例假设您可以访问gs://bucket1/empty/ （其中没有对象）并且您想从gs://bucket2/folder1/中删除所有对象：

gcloud transfer jobs create \
gs://bucket1/empty/ gs://bucket2/folder1/ \
--delete-from=destination-if-unique \
--project my-project

如果您希望删除速度更快，您需要创建多个传输作业并让它们针对存储桶的不同部分。 因为它必须执行存储桶列表才能找到要删除的文件，所以您希望目标路径不重叠（例如 gs://bucket2/folder1/ 和 gs://bucket2/folder2/ 等）。 每项工作将以更快的速度并行处理，从而在更少的总时间内完成工作。