从Internet直接将文件下载到我的S3存储桶

Question

我正在使用AWS基础设施上的EMR（Elastic MapReduce），为程序提供输入文件（大型数据集）的默认方法是将它们上传到S3存储桶，并从EMR中引用这些存储桶。

通常，我将数据集下载到本地开发机器上，然后将其上传到S3，但这对大文件而言变得越来越困难，因为上传速度通常远低于下载速度。

我的问题是 ，有没有一种方法可以将文件从Internet（ 直接提供给他们的URL） 直接下载到S3中，所以我不必将它们下载到本地计算机上然后手动上传它们？

Answer 1

不需要。您需要一个中介，通常是使用EC2实例而不是本地计算机来提高速度。