使用 Python boto3 獲取 S3 中每個文件夾和子文件夾的大小

Question

我正在編寫一個 python3 lambda function 來獲取 s3 存儲桶中每個文件夾和子文件夾的總大小，使用 boto3。 以下是文件的存儲方式：

http://s3/bucket 
    Folder1
        Folder1.1
            Item1.1.1
            Item1.1.2
         Folder1.2
             Item1.2.1
        ...
    Folder2
        Folder2.1
            Item2.1.1
        ...

我需要獲取每個文件夾和子文件夾的大小。 從我在研究時看到的情況來看，似乎唯一的方法是獲取每個文件夾中每個文件的大小，以及每個文件夾的子文件夾中......並將它們相加。 這是非常低效的......尤其是因為每個子文件夾都有數千個文件，每個文件夾有 50 多個子文件夾，並且有 20 多個文件夾。

我應該如何處理這項任務？ 抱歉，如果我在這里使用了任何不正確的術語。 如果我說錯了，請糾正我。 我正在學習 go，剛剛完成這項工作。

提前致謝; 將不勝感激幫助！

Answer 1

我建議您使用Amazon S3 Inventory 。

它可以提供每日 CSV 文件，其中包含存儲桶中每個 object 的列表。

您的程序將需要解析 CSV 文件並執行您的計算，但這比對 Amazon S3 進行 API 調用要快得多。