從 s3 加載大文件的替代方法
[英]Alternative to loading large file from s3
問題描述
我一直在嘗試加載托管在 S3 上的大型語言 model (> 5 GB) 以用於 Lambda function，但到目前為止還沒有成功。 function 只是在幾分鍾后連續超時，即使設置為 10240 MB memory。
我認為這是因為 Lambda function 的限制，以及來自 S3 的如此大文件的流式傳輸。
對於我的實現，我的 function 需要能夠相當快地加載語言 model（約 5-10 秒）。
作為 AWS 的新手，有沒有更好的方法來做到這一點？
1 個解決方案
解決方案1
1 2022-01-29 16:15:09
將 model 存儲在 EFs 驅動器中，然后將 efs 附加到 lambda，您可以更快地進行計算
如何從 s3 stream 一個大的 gzipped.tsv 文件，處理它，然后寫回 s3 上的新文件？
[英]How to stream a large gzipped .tsv file from s3, process it, and write back to a new file on s3?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.