在本地主机上从S3下载文件比从EC2实例下载文件快得多？

Question

我正在运行一个相当简单的Python脚本，该脚本使用多处理和请求从S3下载文件。 当我在本地运行此脚本时，速度非常快（2.5分钟内可生成5k张图像）。 当我在EC2实例（g2.2xlarge，因为我需要使用GPU实例）上运行相同的脚本时，即使我正在使用优化的EBS并给它3600 IOP，它也非常慢（慢了10倍）。 。 在这一点上，我不知道应该检查什么。 任何建议将不胜感激。

通过使用请求替换urllib2，从此处修改了脚本：

https://github.com/BVLC/caffe/blob/master/examples/finetune_flickr_style/assemble_data.py

Answer 1

该问题很可能与CDN限制了我从EC2实例发出的http请求有关。 当我切换到使用Boto时，速度变得与我在本地时的速度相当。

希望这可以帮助某人不要像我一样浪费时间！ 如有疑问，请使用boto。