使用python将大文件下载到Google云存储

Question

我正在编写python GAE程序。 我要做的是使用HTTP协议下载文件并将其写入Google云存储。

但是，如果我请求的文件很大（大于1Mb），

url = urllib2.urlopen(link)

将无法正常工作。

它总是抛出ResponseTooLargeError

这篇文章解释了为什么显示此错误：

https://groups.google.com/forum/?fromgroups=#!topic/google-appengine/QEm-19vdcU4

但是，这并不能解决我的问题，那就是将大文件下载到云存储中。

谁能帮我？ 谢谢！

Answer 1

URL提取的每个响应限制为32MB。 请参阅Python GAE SDK的配额和限制部分。 使用App Engine，您将无法在一个请求中复制超过该大小的URL中的任何内容。 现在，您可以使用GCS或Blobstore直接将本地文件存储区中的较大文件上传到GAE中，而无需通过从URL复制来进行上传。