將大量大文件傳輸到s3

Question

我正在從遠程服務器到s3存儲桶傳輸大約31 TB的數據，其中包括4500個文件，文件大小從69MB到25GB不等。 我正在使用s4cmd put來執行此操作，並將其放在bash腳本upload.sh ：

#!/bin/bash

FILES="/path/to/*.fastq.gz"
for i in $FILES
do
    echo "$i"
    s4cmd put --sync-check -c 10 $i s3://bucket-name/directory/
done

然后我使用qsub提交作業：

qsub -cwd -e error.txt -o output.txt -l h_vmem=10G -l mem_free=8G -l m_mem_free=8G -pe smp 10 upload.sh

這花費的時間太長-上傳大約20個文件花了10個小時。 有人可以建議替代或修改我的命令嗎？

謝謝！

Answer 1

您的案例可能屬於以下情況：將數據復制到物理介質上並通過常規郵件運輸比通過Internet傳輸數據更快，更便宜。 AWS支持這種“協議”，並有一個特殊的名稱-AWS Snowball 。

Snowball是PB級數據傳輸解決方案，它使用安全設備將大量數據傳入和傳出AWS雲。 使用Snowball可以解決大規模數據傳輸的常見挑戰，包括較高的網絡成本，較長的傳輸時間和安全問題。 使用Snowball傳輸數據既簡單，快速，安全，又只需高速互聯網成本的五分之一。

使用Snowball，您無需編寫任何代碼或購買任何硬件即可傳輸數據。 只需在AWS管理控制台中創建作業，Snowball設備將自動發送給您*。 到達設備后，將設備連接到本地網絡，下載並運行Snowball客戶端以建立連接，然后使用客戶端選擇要傳輸到設備的文件目錄。 然后，客戶端將加密文件並將其高速傳輸到設備。 轉移完成並准備好退還設備后，電子墨水運輸標簽將自動更新，您可以通過Amazon Simple Notification Service（SNS），文本消息或直接在控制台中跟蹤作業狀態。

* Snowball目前在某些地區可用。 在AWS管理控制台中創建作業后，將驗證您的位置。

他們較小的設備的容量為50TB，非常適合您的情況。

還有一個類似的服務AWS Import / Export disk ，您可以在其中運送自己的硬件（硬盤），而不是其專用設備：

要使用AWS Import / Export Disk：

• 准備便攜式存儲設備（有關支持的設備，請參見產品詳細信息頁面）。
• 提交創建作業請求。 您將獲得帶有數字簽名的工作ID，該數字用於驗證您的設備。
• 打印出您的預付費運輸標簽。
• 安全地識別和驗證您的設備。 對於Amazon S3，將簽名文件放置在設備的根目錄上。 對於Amazon EBS或Amazon Glacier，將簽名條形碼粘貼到設備的外部。
• 將您的預付運輸標簽貼在運輸容器上，然后將設備及其接口連接器和AWS供電。

包裹到達后，將對其進行處理並安全地轉移到AWS數據中心，您的設備將在該數據中心連接到AWS Import / Export站。 數據加載完成后，設備將退還給您。