使用 Django 将文件异步上传到 Amazon S3

Question

我正在使用这个文件存储引擎在上传文件时将文件存储到 Amazon S3：

http://code.welldev.org/django-storages/wiki/Home

上传需要很长时间，因为文件必须先从客户端上传到 web 服务器，然后再将 web 服务器上传到 Amazon S3，然后才会向客户端返回响应。

我想让将文件发送到 S3 的过程异步，这样可以更快地将响应返回给用户。 使用文件存储引擎执行此操作的最佳方法是什么？

谢谢你的建议！

Answer 1

我对这个问题采取了另一种方法。

我的模型有 2 个文件字段，一个使用标准文件存储后端，另一个使用 s3 文件存储后端。 当用户上传文件时，它会存储在本地。

我的应用程序中有一个管理命令，它将所有本地存储的文件上传到 s3 并更新模型。

So when a request comes for the file I check to see if the model object uses the s3 storage field, if so I send a redirect to the correct url on s3, if not I send a redirect so that nginx can serve the file from disk .

这个管理命令当然可以由 cronjob 或其他任何事件触发。

Answer 2

可以让您的用户使用特殊表单（在隐藏字段中带有加密的策略文档）从浏览器直接将文件上传到 S3。 上传完成后，它们将被重定向回您的应用程序。

更多信息在这里： http://developer.amazonwebservices.com/connect/entry.jspa?externalID=1434

Answer 3

有一个应用程序:-)

https://github.com/jezdez/django-queued-storage

它完全满足您的需求 - 甚至更多，因为您可以设置任何“本地”存储和任何“远程”存储。 此应用程序会将您的文件存储在快速“本地”存储（例如 MogileFS 存储）中，然后使用Celery （django-celery），将尝试异步上传到“远程”存储。

几点说明：

1. 棘手的是 - 您可以将其设置为复制和上传，或上传和删除策略，一旦上传就会删除本地文件。

2. 第二个棘手的事情 - 它将从“本地”存储中提供文件，直到它没有被上传。

3. 它还可以配置为在上传失败时进行重试次数。

安装和使用也非常简单明了：

pip install django-queued-storage

append 到INSTALLED_APPS ：

INSTALLED_APPS += ('queued_storage',)

在models.py中：

from queued_storage.backends import QueuedStorage
queued_s3storage = QueuedStorage(
    'django.core.files.storage.FileSystemStorage',
    'storages.backends.s3boto.S3BotoStorage', task='queued_storage.tasks.TransferAndDelete')

class MyModel(models.Model):
    my_file = models.FileField(upload_to='files', storage=queued_s3storage)

Answer 4

你可以解耦这个过程：

• 用户选择要上传的文件并将其发送到您的服务器。 在此之后，他看到一个页面“感谢您上传 foofile.txt，它现在存储在我们的存储后端”
• 当用户上传文件时，它会存储在您的服务器上的临时目录中，如果需要，一些元数据会存储在您的数据库中。
• 然后，您服务器上的后台进程将文件上传到 S3。 这只有在您拥有对服务器的完全访问权限时才有可能，这样您就可以为此创建某种“守护程序”（或简单地使用 cronjob）。*
• 显示的页面异步轮询并向用户显示某种进度条（或简单的“请等待”消息。仅当用户应该能够“使用”时才需要它（将其放入消息中，或类似的东西）上传后直接。

[*：如果您只有一个共享主机，您可以构建一些解决方案，在用户浏览器中使用隐藏的 Iframe 来启动脚本，然后将文件上传到 S3]

Answer 5

您可以直接将媒体上传到 s3 服务器，而无需使用您的 web 应用程序服务器。

请参阅以下参考资料：

Amazon API Reference: http://docs.amazonwebservices.com/AmazonS3/latest/dev/index.html?UsingHTTPPOST.html

django 实现： https://github.com/sbc/django-uploadify-s3

Answer 6

我在上传图片时遇到了同样的问题。 您不能将文件传递给 Celery 工作人员，因为 Celery 需要能够将 arguments 腌制到任务中。 我的解决方案是将图像数据解构为一个字符串并从文件中获取所有其他信息，将这些数据和信息传递给我重建图像的任务。 之后，您可以保存它，它会将其发送到您的存储后端（例如 S3）。 如果要将图像与 model 关联，只需将实例的 id 传递给任务并在那里检索它，将图像绑定到实例并保存实例。

通过表单上传文件后，您可以在视图中使用 UploadedFile 文件，如 object。 您可以直接从 request.FILES 中获取它，或者最好先将其绑定到您的表单，运行 is_valid 并从 form.cleaned_data 检索类似文件的 object。 在这一点上，至少你知道它是你想要的那种文件。 之后，您可以使用 read() 获取数据，并使用其他方法/属性获取其他信息。 见https://docs.djangoproject.com/en/1.4/topics/http/file-uploads/

实际上，我最终编写并分发了一点 package 来异步保存图像。 看看https://github.com/gterzian/django_async是的，它只是用于图像，您可以分叉它并根据您的情况添加功能。 我将它与https://github.com/duointeractive/django-athumb和 S3 一起使用

Answer 7

由于这里的一些答案建议直接上传到 S3，这里是使用 plupload 的 Django S3 Mixin： https://github.com/burgalon/plupload-s3mixin