從Internet直接將文件下載到我的S3存儲桶

Question

我正在使用AWS基礎設施上的EMR（Elastic MapReduce），為程序提供輸入文件（大型數據集）的默認方法是將它們上傳到S3存儲桶，並從EMR中引用這些存儲桶。

通常，我將數據集下載到本地開發機器上，然后將其上傳到S3，但這對大文件而言變得越來越困難，因為上傳速度通常遠低於下載速度。

我的問題是 ，有沒有一種方法可以將文件從Internet（ 直接提供給他們的URL） 直接下載到S3中，所以我不必將它們下載到本地計算機上然后手動上傳它們？

Answer 1

不需要。您需要一個中介，通常是使用EC2實例而不是本地計算機來提高速度。