django python cumulus-如何处理将大量文件上传到云文件存储

Question

我有许多文件已处理并保存在服务器上的temp文件夹中，现在我想将它们移到default_storage位置（使用django-cumulus将default_storage设置为机架云文件）。

该过程开始正确上载文件，但在停止之前仅管理少于一半的文件。 我的猜测是内存问题，但我不确定如何解决它。 以下是相关代码：

listing = os.listdir(path + '/images')
listing.sort()

for infile in listing:
    image = open(path + '/images/' + infile, 'r')
    image_loc = default_storage.save(infile, ContentFile(image.read()))

    image.flush()
    image.close()

以防万一它有所作为我的服务器设置是Ubuntu上的机架云Nginx和Gunicorn

Answer 1

您可以尝试django存储 。 它是一个易于集成的自定义后端，还支持机架空间 。

Answer 2

最后，答案分为几个部分。 首先，我必须向cumulus添加一个TIMEOUT设置（django-cumulus文档中未提及）。 其次，我增加了等待时间。 最后，我增加了Nginx的超时参数。