如何使用 S3API 或任何其他實用程序在 S3 Bucket 中查找“僅文件夾”？

Question

如何在具有超過 8000 萬個對象/鍵的 S3 存儲桶中獲取“唯一”文件夾列表（此時列表未知）？

供應商最初將數百萬個 gz 文件直接上傳到存儲桶的根目錄 (Bucket-Vend)，而不是創建文件夾。 當他們意識到時，他們在 Bucket-Vend 下創建了文件夾； 但是並沒有刪除數百萬個單獨的文件。 為了清理混亂，我們正在尋找是否可以直接在此存儲桶（Bucket-Vend）下“僅”獲取文件夾名稱。 我們已嘗試使用 Cloudwatch 和 S3api，但不幸的是，我們無法獲得此存儲桶級別的文件夾列表。 這個想法是一旦我們知道文件夾，我們就可以將文件夾移動到另一個存儲桶，然后刪除所有單個文件，最后刪除存儲桶（Bucket-Vend）。 任何幫助表示贊賞！

Answer 1

鑒於您的存儲桶中的對象數量，我建議使用Amazon S3 Inventory來獲取列出存儲桶中所有對象的每日 CSV 文件。

文件夾可能顯示為零長度對象，或者您可以只從對象名稱中提取文件夾名稱（例如folder1/foo.txt在folder1 ）。

給定列表，然后您可以編寫程序將對象復制到所需位置，或使用AWS 命令​​行界面 (CLI) aws s3 mv命令來“移動”對象（通過執行復制和刪除） . 它還可以在存儲桶之間“移動”文件夾。