简体   繁体   English

如何通过读取存储在 Databrciks 中的 adls gen2 中的 csv 文件(特定列)来创建 ADLS gen2 中的文件夹

[英]how to ceate folders in ADLS gen2 by reading a csv file(particular column) stored in adls gen2 in Databrciks

I need help in to ceate folders in ADLS gen2 by reading a csv file(particular column) stored in adls gen2 in Databrciks.我需要帮助通过读取存储在 Databrciks 的 adls gen2 中的 csv 文件(特定列)来创建 ADLS gen2 中的文件夹。 I am able to read csv file but not able to create folders in gen2 using databrciks.我能够读取 csv 文件,但无法使用 databrciks 在 gen2 中创建文件夹。

I tried reading csv file using account key and SAS token,which i am able to read but not able to craete folders using mount folder in gen2.我尝试使用帐户密钥和 SAS 令牌读取 csv 文件,我能够读取但无法使用 gen2 中的安装文件夹创建文件夹。

Can someone please help on coding part like creating python code to create folders in gen2 using mount point.有人可以帮助编码部分,例如创建 python 代码以使用挂载点在 gen2 中创建文件夹。

dbutils.fs.mount( source = 'path', mount_point = '/mnt/...', extra_configs = {path,accountkey})

To create a directory, you can either use Databricks's dbutils or use python's os library.要创建目录,您可以使用 Databricks 的dbutils或使用 python 的os库。

  • You can create directory in your mount folder with dbutils in the following way.您可以通过以下方式使用dbutils在挂载文件夹中创建目录。
dbutils.fs.mkdirs("/mnt/repro/folder1")
  • To create new folder using Python, import os library and then use os.mkdir .要使用 Python 创建新文件夹,请导入os库,然后使用os.mkdir
import os
os.mkdir("/dbfs/mnt/repro/folder2")
  • You can check if the folders are created or not using dbutils.fs.ls .您可以使用dbutils.fs.ls检查文件夹是否已创建。
dbutils.fs.ls("/mnt/repro")

在此处输入图像描述

NOTE: You can also create sub-directories using dbutils but not with python's os library.注意:您还可以使用dbutils创建子目录,但不能使用 python 的 os 库。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 great_expectations 在 ADLS Gen2 上创建 csv 文件的数据源 - great_expectations create datasource of csv files on ADLS Gen2 使用 Python(无 ADB)读取 Azure ADLS Gen2 文件 - Azure ADLS Gen2 File read using Python (without ADB) 通过数据块从 ADLS gen2 存储中的多个文件夹中读取文件并创建单个目标文件 - Read files from multiple folders from ADLS gen2 storage via databricks and create single target file Azure Data Lake Storage Gen2 (ADLS Gen2) 作为 Kedro 管道的数据源 - Azure Data Lake Storage Gen2 (ADLS Gen2) as a data source for Kedro pipeline 如何使用 Azure Synapse 和 pySpark 笔记本从 ADLS gen2 检索 .dcm 图像文件? - How to retrieve .dcm image files from the ADLS gen2 using Azure Synapse and pySpark notebook? 如何使用 pandas 读取存储在 adls gen 2 中的文件? - How to read a file stored in adls gen 2 using pandas? 使用Python或Java从本地将数据上传到Azure ADLS Gen2 - Upload data to the Azure ADLS Gen2 from on-premise using Python or Java 使用 Azure CLI、Rest API 或 Python 在 Azure ADLS gen2 中复制文件 - Copy files within Azure ADLS gen2 using Azure CLI, Rest API or Python 如何将 AMLS 连接到 ADLS Gen 2? - How to connect AMLS to ADLS Gen 2? Kubernetes spark-submit on ADLS Gen2 error: Class org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem not found - Kubernetes spark-submit on ADLS Gen2 error: Class org.apache.hadoop.fs.azurebfs.SecureAzureBlobFileSystem not found
 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM