如何在请求中流式传输文件？

Question

我们有一个react的应用程序与Django的后端通讯。 每当react应用程序想要将文件上传到后端时，我们都会发送一个表单请求，其中一个字段是正在上传的文件的句柄。 该字段在 Django 端作为InMemoryUploadedFile ，它是一个带有一些chunks的对象，可以像这样处理：

def save_uploaded_file(uploaded_file, handle):
    """
    Saves the uploaded file using the given file handle.
    We walk the chunks to avoid reading the whole file in memory
    """
    for chunk in uploaded_file.chunks():
        handle.write(chunk)
    handle.flush()
    logger.debug(f'Saved file {uploaded_file.name} with length {uploaded_file.size}')

现在，我正在使用requests来驱动我们的 API 创建一些测试框架。 我试图模拟这种机制，但奇怪的是， requests坚持在发送请求之前从打开的句柄中读取。 我在做：

requests.post(url, data, headers=headers, **kwargs)

和：

data = {'content': open('myfile', 'rb'), ...}

请注意，我不是在读取文件，而是在打开它。 但是requests 坚持从里面读取，并且发送嵌入的数据，这有几个问题：

• 它可能很大
• 由于是二进制数据，它会破坏请求
• 这不是我的应用程序所期望的

我不希望这样：我希望requests只是“流式传输”该文件，而不是读取它。 有一个 files 参数，但这将创建一个包含嵌入在请求中的文件的多部分，这又不是我想要的。 我希望在请求中传递数据中的所有字段，并流式传输内容字段。 我知道这是可能的，因为：

• 浏览器会这样做
• 邮递员这样做
• django 测试客户端做到了

如何强制请求流式传输数据中的特定文件？

Answer 1

可能这不再相关，但我将分享我在文档中找到的一些信息。

默认情况下，如果上传的文件小于 2.5 兆字节，Django 会将上传的全部内容保存在内存中。 这意味着保存文件只涉及从内存读取和写入磁盘，因此速度非常快。 但是，如果上传的文件太大，Django 会将上传的文件写入存储在系统临时目录中的临时文件中。

这样，就无需创建流式文件上传。 相反，解决方案可能是使用缓冲区处理（读取）加载的内容。