如何使用 Python 尽可能有效地下载和上传文件？

Question

所以这就是我想要做的：我想从 API 下载 JSON 文件，然后我想将它们上传到 Azure 中的容器。

这是我当前的解决方案：我使用模块请求和

file = requests.get('<link>')

下载数据，然后我用它创建一个 json 文件并将其存储在我的本地计算机上，就像这样

local_path = os.getcwd()
local_file_name = 'file'
open(local_file_name + '.json', 'wb').write(file.content)

然后我找到本地文件，将其上传到 Azure，然后删除本地文件。 这是我对所有文件重复的一个过程，我觉得它似乎很无效。 有没有更好的方法来做到这一点？ 我想知道我是否可以直接上传请求文件，为每个单独的文件指定一个名称，而不必将它们存储在本地。 想法？

Answer 1

您可能可以使用asyncio 、 async和aiohttp来下载文件。 一个是为了速度，另一个是为了获取请求中的网页。 下面有一篇很棒的文章，介绍了如何将aiohttp与async和asyncio一起使用。 我把它放在下面。

异步/异步教程