[英]How can I split large JSON file in Azure Blob Storage into individual files for each record using Python?
[英]How can i get number of folders and files or name of folders and files at each level inside a blob storage of azure
我里面有一个存储帐户“STR_acc”我有一个blob“data_store”。 它包含多个文件夹和带有文件的子文件夹。 我需要计算存在的文件和文件夹以及文件的累积大小(如果可能)。 有没有 function 可以做到这一点。 虽然在数据块中我有 dbutils。
我做了
STORAGEACCOUNTNAME = "STR_acc"
STORAGEACCOUNTKEY = "some_key"
CONTAINERNAME = "data_store"
MY_CONNECTION_STRING2 = """DefaultEndpointsProtocol=https;AccountName= ---whatever"""
blob_service_client = BlobServiceClient.from_connection_string(MY_CONNECTION_STRING2)
现在我用
container_client=blob_service_client.get_container_client(container_name)
但我看不到任何有用的 function
一个想法是,如果我得到文件夹列表,我可以使用 len() function 计算它们,但找不到任何
我们可以根据以下逻辑来计算当前存在的文件和文件夹的数量。 但我不确定获得文件或文件夹的大小,现在 azure 提供了该选项。
from azure.storage.blob.blockblobservice import BlockBlobService
blob_service = BlockBlobService(account_name='storage-account-name', account_key='access-key')
containers = blob_service.list_containers()
for c in containers:
<apply your own logic>
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.