使用 Lambda 將大文件的內容從 S3 寫入 Dynamo

Question

我在 S3 存儲桶中有多個 csv 大文件。 我想將他們的數據寫入 dynamoDB 表。 問題是我的 function 運行超過 15 分鍾，並在沒有將 csv 文件完全寫入 DynamoDB 的情況下出現超時錯誤。 那么有沒有辦法將 csv 拆分成更小的部分呢？

到目前為止我嘗試過的事情

這-這不會像預期的那樣調用自身（向表中寫入幾行然后停止而沒有任何錯誤。
aws 文檔- 給出 s3fs 模塊未找到錯誤。 嘗試了很多東西來讓它工作但不能。

無論如何我可以完成我的任務嗎？

謝謝你

Answer 1

我認為您的鏈接解決方案中的扇出方法應該是最佳選擇。

以 main lambda function 為例，它將通過將行數（例如每行 1000 行）分成扇出調用來拆分處理 lambda，它將使用Event而不是Tail調用。 處理 lambda 應該只讀取分配給它的 CSV 行（看看這里）。

如果您已經嘗試過這個，您可以發布您的部分解決方案嗎？

Answer 2

我可以通過將 dynamodb 的寫入容量增加到最小 1000 來解決我的問題（部分）。 我可以在 10 分鍾內寫出 100 萬條記錄。 我仍然需要拆分 csv 文件。 使用 batch_write 而不是逐行編寫每個項目也有很大幫助。