快速獲取AWS S3對象元數據

Question

這個問題如何讀取S3存儲桶中每個項目的元數據？ 處理如何在AWS S3上獲取對象元數據的方式，但是過程非常緩慢。 即使我使用“ boto3”，我在7秒鍾內也會獲得大約50個對象元數據。 有沒有可靠的選擇？ 我只需要一個目錄的數據，但是該目錄可以包含數千個對象。 作為最后的選擇，我考慮只獲取最新對象的元數據，但是我想我首先需要元數據:)

Answer 1

如果您不介意每天僅獲取一次信息，則可以使用Amazon S3庫存 ：

亞馬遜S3庫存提供逗號分隔值（CSV）或Apache優化行柱狀（ORC）的輸出文件，列出你的對象和用於S3桶或共享前綴（即每天或每周的基礎上其相應的元數據中，具有對象以通用字符串開頭的名稱）。

如果您需要更頻繁地更新信息，則可以在存儲桶上配置一個事件 ，該事件在創建新對象時觸發AWS Lambda函數 。 然后，Lambda函數可以將信息存儲在數據庫中，以備將來參考。 當然，您必須自己編寫此代碼。