簡體   English   中英

AWS S3上傳/下載占用內存少的大型文件

[英]AWS S3 uploading/downloading huge files with low memory footprint

假設我們有一個內存非常有限的應用程序,但必須將大文件上傳/下載到AWS s3。

問題1:當我們需要在內存非常有限的情況下直接上傳/下載到FS時,使用什么正確的api? (例如200Mb)

其中一個選項上傳對象S3是這個

TransferManager.upload(String bucketName, String key, File file)

問題2:TransferManager.upload()是否會將整個文件放入內存中,或者它足夠聰明以將內容流式傳輸到s3而不會填滿內存?

問題3:我們是否有可以進行零拷貝聯網的任何api?

問題4:如果您定義了策略,aws提供了將文件從s3移至速度較慢的存儲的選項,如果文件已移至低頻訪問存儲,我們是否以相同的方式查詢它? (我的假設是s3會阻止我幾個小時來獲取文件,然后我才能開始下載)。重要的是,如果該過程作為客戶端對我來說是隱藏的,或者我需要弄清楚我的文件現在在哪里,並使用特定的api為拿到它,為實現它?

請原諒我許多問題,搜索了一段時間的答案,只發現了點點滴滴,但沒有明確的答案。

Q1,Q2:挖掘多部分的S3上傳內容,這就是您所需要的。

問題3:不,S3目前僅支持標准和多部分上傳API。

Q4:不,它在以其他方式工作。 對於您來說,看起來文件已正常存儲,並且您在上載后(幾秒鍾)就可以訪問該文件,但區別在於價格。 對於您來說,存儲數據將更加便宜,但是檢索每個MB則更加昂貴。

祝好運

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM