使用Python / Django上传大文件

Question

我想知道使用Django / Python通过Web应用程序上传大小约为4GB的文件是否有任何后果？ 我记得在过去使用Java的流式上传是首选的方法但是今天仍然这样做或者使用Django / Python这样做是否完全安全？

Answer 1

Django默认情况下，如果上传的文件数据小于2.5MB，则将其放入内存中。 更大的内容将写入服务器的/tmp目录，然后在传输完成时复制。 许多Django的文件上传设置都可以自定义， 文档中提供了详细信息。 您还可以自定义文件处理，您当然希望这样做。

在我们考虑任何技术限制之前，使用浏览器上传这些大文件会给用户带来非常糟糕的体验。 没有关于传输方式的反馈（尽管谷歌浏览器确实以百分比显示上传状态）并且无法暂停或恢复传输。

您也可能在服务器上遇到问题。 除了处理流数据每个线程的极长时间外，您还有时间让系统将生成的文件从/tmp复制到正确的位置。

除非您非常有信心可以预见到服务器可能与上传有任何问题，否则我建议这是一个坏主意。 很难通过谷歌找到这方面的任何信息，似乎有很多描述大文件上传问题的点击。

虽然Django在技术上能够接收这么大的上传文件，但非常糟糕的用户体验和技术难度意味着这可能不是最好的方法。 您是否考虑过使用专用软件来处理文件传输？

Answer 2

最后的答案涵盖了它。 我们经常上传2.5mb +（但通常不是4gb）

adamnish链接是正确的，请参阅此代码段（从他的链接到django docs ）关于将文件写入磁盘，而不是先将其放入内存：

def handle_uploaded_file(f):
    with open('some/file/name.txt', 'wb+') as destination:
        for chunk in f.chunks():
            destination.write(chunk)

有关“chunks”调用的更多信息： https ： //docs.djangoproject.com/en/dev/ref/files/uploads/#django.core.files.uploadedfile.UploadedFile.chunks

页面包括如何设置“块”大小等。

Answer 3

对于未来的读者：要在内存存储中允许最大文件大小 ，请在settings.py以下内容：

FILE_UPLOAD_MAX_MEMORY_SIZE = 5242880 # make it 5Mb instead of 2Mb

当然这对4Gb没有帮助。