如何從目錄上傳多個文件到S3？
[英]How to upload multiple files from directory to S3?
問題描述
我在 Ubuntu 上有一個目錄，包含 340K 個圖像，總大小為 45GB！ 有沒有一種有效的方法可以將它們全部傳輸到DigitalOcean的 S3？
我想過使用s3cmd put或s3cmd sync但我猜這會單獨對每個文件執行put操作。
任何想法將不勝感激！
1 個解決方案
解決方案1
2 已采納 2019-12-13 18:40:49
您可以使用https://github.com/mishudark/s3-parallel-put ，它通過多線程實現更高的吞吐量，但仍將使用單個 PUT 操作上傳單個文件，因為它是並行發生的，整個操作將更快完成。 吞吐量取決於 CPU 數量、網絡帶寬等因素。
如何使用 mongoDB、react 和 express 一次將多個文件上傳到 AWS S3？
[英]How do I upload multiple files to AWS S3 at once using mongoDB, react, and express?
需要在 Ubuntu 22.04 上使用 AWS CLI 將所有文件從特定本地目錄上傳/復制到 AWS S3 存儲桶
[英]Need to upload/copy ALL files from specific local directory to AWS S3 bucket using AWS CLI on Ubuntu 22.04
將多個文件上傳到 S3 存儲桶並返回其 URL 路徑和名稱
[英]Upload multiple files to an S3 bucket and return their URL paths and names
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
AWS S3，上傳后從本地目錄中刪除文件
如何將文件列表從 web 直接上傳到 s3 存儲桶
如何使用kms加密從aws cli上傳文件到s3
如何將文件從 s3 保存到當前 jupyter 目錄
使用 boto 將目錄上傳到 s3
如何使用 mongoDB、react 和 express 一次將多個文件上傳到 AWS S3？
需要在 Ubuntu 22.04 上使用 AWS CLI 將所有文件從特定本地目錄上傳/復制到 AWS S3 存儲桶
將多個文件上傳到 S3 存儲桶並返回其 URL 路徑和名稱
在 Flutter 中從 AWS S3 上傳和獲取媒體文件
將 zip 個文件直接從網站上傳到 AWS S3 存儲桶？
相關標簽