結合wget和aws s3 cp上傳數據到S3而不保存本地
[英]Combining wget and aws s3 cp to upload data to S3 without saving locally
問題描述
我有一個指向文件 (.tif) 的 url，並想將該文件上傳到 Amazon S3。 我目前使用wget將文件下載到 EC2 實例，然后在 linux 命令行中使用aws s3 cp上傳到 S3 存儲桶。 我想知道您是否可以直接將文件通過管道傳輸（不確定正確的命名法）到 S3 而無需先保存到 EC2 實例。
2 個解決方案
解決方案1
12 已采納 2018-03-24 16:39:20
假設：
-
<url>是你要閱讀的url -
<s3_bucket>是您要將文件加載到的 S3 存儲桶的名稱 -
<s3_key>是存儲桶中的密鑰（如文件名）
wget -qO- <url> | aws s3 cp - s3://<s3_bucket>/<s3_key>
這部分的第一部分獲取文件並輸出到標准輸出。 第二部分從標准輸出讀取並將其復制到指定的 S3 位置。
解決方案2
1 2021-03-31 02:35:52
將 S3 存儲桶安裝為驅動器，然后直接在其中 wget
我使用了本教程，它非常適合我，因為我有一個巨大的數據集 (5TB)，我需要直接下載
如何在不保存文件的情況下將 Python 請求內容上傳到 S3
[英]How to upload a Python Requests content to S3 without saving the file
使用 wget --spider 檢查 AWS S3 預簽名鏈接是否存在
[英]Checking if AWS S3 presigned link exists using wget --spider
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.