AWS Lambda - 將數據從 s3 傳輸到 redshift

Question

我在 s3 中有 500GB 的數據，我必須轉移到 redshift 並自動執行它，我們計划使用 Lambda。但不確定 Lambda 是否能夠做到這一點，因為它有 15 分鍾的時間限制和大小限制（我猜是 10 GB）。 您能否幫助我們了解 Lambda 是否可用於將大量數據從 s3 傳輸到 redshift？

Answer 1

您的 AWS Lambda function 可以通過execute_statement()命令發出COPY命令。

該命令會在沒有連接的情況下繼續運行，所以 Lambda function 可以在發送命令后結束。 Lambda 超時並不重要，除非您特別想等到它完成檢查狀態。

Amazon Redshift COPY命令直接從 Amazon S3 存儲桶中讀取，因此無需將數據加載到 Lambda function 中。

我建議您首先通過在 Redshift SQL 控制台中運行 COPY 命令語法來獲得正確的語法，一旦它正常工作，您可以將命令放入 Lambda function。