如何通過Boto3獲取存儲桶中所有鍵的s3元數據

Question

我想通過Boto獲取帶有前綴的存儲桶的所有元數據。 有一些SO問題暗示通過AWS API無法實現 。 因此，有兩個問題：

1. 是否有充分的理由通過AWS API無法做到這一點？
2. 盡管我在docs中找不到一個 ，但是Boto中是否有一種方便的方法？

我目前正在使用多線程進行此操作，但這似乎有點過頭了，如果可能的話，我真的想避免使用它。

Answer 1

雖然無法直接通過boto進行此操作，但是您可以在存儲桶上添加清單配置，該配置會生成包含所有文件元數據的每日CSV / ORC文件。

生成此代碼后，您就可以處理輸出，而不是多線程處理或需要大量請求的任何其他方法。

請參閱： put_bucket_inventory_configuration

值得注意的是，生成第一個可能最多需要48個小時。