將文件從本地系統復制到AWS S3存儲桶

Question

我正在嘗試使用以下復制命令將文件從本地系統復制到aws s3存儲桶：

aws s3 cp folder/ s3://xxx/yyy/folder --recursive

僅較小文件被復制，而較大文件（例如：5MB）被復制。 我收到錯誤，例如connection reset by peer, write operation timed-out 。

我還尋找鏈接：

https://github.com/aws/aws-cli/issues/634

但是什么都行不通。 請幫我解決這個問題。 提前致謝。

我的版本：

aws --version：

aws-cli/1.9.2 
Python/2.7.3 
Linux/3.5.0-27-generic 
botocore/1.3.2

Answer 1

您可以使用以下參數

--page-size（整數）在對列表操作的每個響應中要返回的結果數。 默認值為1000（允許的最大值）。 如果操作超時，則使用較低的值可能會有所幫助。

設置為100應該可以解決您的問題

Answer 2

您也可以使用Minio client aka mc 。 mc mirror命令可以做到這一點，它是開源的。 Minio客戶端將本地處理分段上傳，並在網絡斷開連接的情況下從斷開連接之前的位置開始上傳。

$ mc mirror folder S3alias/folder

希望能幫助到你。

免責聲明：我為Minio工作