[英]Python: azure-storage-blob takes 6 min to download a 20MB file to local
我必须从 Azure 存储下载 .parqeat 文件，并且必须分析数据。 So I started using python codes with azure-storage-blob library and Pandas to store DataFrames and flask to create API on response. 但是现在 Azure 存储中的文件大小已增加到 30MB（一天文件），并且经过测试，将 20MB 文件下载到我的本地需要 6 分钟，这是我负担不起的，因为我必须分析一个月中每一天的文件，每个将有 20 MB。 这几乎是 30 个20MB 大小。 有什么建议吗？
你找到你的答案了吗？ 如果没有代码片段，就很难诊断您的问题。 Azure Blob 存储支持并行读取。 如果您有BatchServiceClient服务，那将很简单。 否则，请尝试Multiprocessing模块。 氪。
使用 Azure-Storage-Blob Python 读取 Blob 容器目录中每个 Blob 的文件大小
[英]Reading the File size for each blob inside a directory of a Blob Container using Azure-Storage-Blob Python
尝试使用 Python 库 azure-storage-blob 时未解决的导入“azure.storage.blob”
[英]Unresolved import 'azure.storage.blob' when trying to use Python library azure-storage-blob
如何加快从 Python-Flask 应用程序返回 20MB Json 文件的速度？
[英]How to speed up returning a 20MB Json file from a Python-Flask application?
如何通过 Python 中的 URL 下载 Azure Blob 存储文件？
[英]How to download an Azure Blob Storage file via URL in Python?
将文件从本地上传到 python 中的 Azure Blob 存储的问题
[英]Problem to upload a file from local to Azure Blob Storage in python
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
