AWS Lambda 和分段上傳到/從 S3

Question

使用 Lambda 將文件從 S3 移動到我們的 Redshift。

使用直接來自數據提供者的 Redshift 的 UNLOAD 命令將數據放置在 S3 中。 它有 10 個不同的部分，由於並行運行，有時會在不同的時間完成。

我希望 Lambda 觸發器在觸發觸發器以將數據導入我的 Redshift 之前等待所有數據完全上傳。

Lambda 中有一個名為“完成分段上傳”的事件選項。 UNLOAD 函數是否算作 Lambda 中的分段上傳？ 或者在提供者完全上傳所有部分之前，簡單的“POST”事件是否不會觸發？

沒有明確的文檔確認 Redshift 的 UNLOAD 命令算作分段上傳，也沒有確認觸發器在數據提供者的整個上傳完成之前不會觸發。

Answer 1

對於 Amazon S3，分段上傳是單個文件，分多個部分上傳到 S3。 當所有部分都上傳后，客戶端調用CompleteMultipartUpload 。 只有在客戶端調用CompleteMultipartUpload后，文件才會出現在 S3 中。

並且只有在文件完成后才會觸發 Lambda 函數。 您不會為每個部分獲得 Lambda 觸發器。

如果您的UNLOAD操作在 S3 中生成多個對象/文件，則它不是 S3“多部分上傳”。