如何從 S3 存儲桶中的一個文件夾讀取 2 GB 文件並使用 spring 批處理處理它，現在我正在解決 memory 問題
[英]How to read 2 gb file from one folder in S3 bucket and process it using spring batch, Now Im getting out of memory issue
問題描述
獲取堆 memory 問題，因為我試圖在 memory 中保存整個 2gb 文件
請幫助讀取塊中的數據
1 個解決方案
解決方案1
1 2023-01-03 22:58:45
下次請提供一些代碼，說明您如何訪問 S3 object。
但作為一種猜測，我假設您正在獲取一個S3ObjectInputStream ，然后使用 function 讀取一個 go 中byte[]中的所有字節，然后您將獲得 memory 異常。
這個問題的一般技術是同時打開輸入 stream 和 output stream 並一次讀取字節的“緩沖區”。
這個問題在實用程序中已經解決了很多次，例如 Apache 的 IO Utils，在這里閱讀copyLarge https://commons.apache.org/proper/commons-io/javadocs/api-2.5/org/apache/commons/io/IOUtils .html
嘗試使用 springboot 應用程序上傳 5gb 文件時出現 memory 錯誤
[英]While trying to upload 5gb file using springboot application im getting out of memory error
將 S3 存儲桶中給定文件的所有版本從一個文件夾移動到另一個文件夾
[英]Move all versions of a given file in a S3 bucket from one folder to another folder
使用 Java 從 S3 存儲桶和 HTTP PUT 文件讀取文件到預簽名的 AWS S3 URL 以模擬實際文件上傳的方式另一個存儲桶
[英]Read a file using Java from an S3 bucket and HTTP PUT file to presigned AWS S3 URL of another bucket in a way that simulates an actual file upload
我們如何使用 Java SDK 從 S3 存儲桶下載沒有文件夾的多個文件
[英]How can we download multiple files without folder from S3 bucket using Java SDK
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
如何處理來自 S3 的大文件並在 spring 批處理中使用它
嘗試使用 springboot 應用程序上傳 5gb 文件時出現 memory 錯誤
從 s3 處理大文件而沒有內存問題
從 S3 存儲桶獲取文件大小
將 S3 存儲桶中給定文件的所有版本從一個文件夾移動到另一個文件夾
使用API在amazon S3存儲桶中創建文件夾/上傳文件
使用 Spring 集成為文件輪詢 S3 Bucket
使用 Java 從 S3 存儲桶和 HTTP PUT 文件讀取文件到預簽名的 AWS S3 URL 以模擬實際文件上傳的方式另一個存儲桶
Spring Batch - 從 Aws S3 讀取文件
我們如何使用 Java SDK 從 S3 存儲桶下載沒有文件夾的多個文件
相關標簽