[英]Python: azure-storage-blob takes 6 min to download a 20MB file to local
我必須從 Azure 存儲下載 .parqeat 文件，並且必須分析數據。 So I started using python codes with azure-storage-blob library and Pandas to store DataFrames and flask to create API on response. 但是現在 Azure 存儲中的文件大小已增加到 30MB（一天文件），並且經過測試，將 20MB 文件下載到我的本地需要 6 分鍾，這是我負擔不起的，因為我必須分析一個月中每一天的文件，每個將有 20 MB。 這幾乎是 30 個20MB 大小。 有什么建議嗎？
你找到你的答案了嗎？ 如果沒有代碼片段，就很難診斷您的問題。 Azure Blob 存儲支持並行讀取。 如果您有BatchServiceClient服務，那將很簡單。 否則，請嘗試Multiprocessing模塊。 氪。
使用 Azure-Storage-Blob Python 讀取 Blob 容器目錄中每個 Blob 的文件大小
[英]Reading the File size for each blob inside a directory of a Blob Container using Azure-Storage-Blob Python
嘗試使用 Python 庫 azure-storage-blob 時未解決的導入“azure.storage.blob”
[英]Unresolved import 'azure.storage.blob' when trying to use Python library azure-storage-blob
如何加快從 Python-Flask 應用程序返回 20MB Json 文件的速度？
[英]How to speed up returning a 20MB Json file from a Python-Flask application?
如何通過 Python 中的 URL 下載 Azure Blob 存儲文件？
[英]How to download an Azure Blob Storage file via URL in Python?
將文件從本地上傳到 python 中的 Azure Blob 存儲的問題
[英]Problem to upload a file from local to Azure Blob Storage in python
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
