如何从 Azure ADLS blob 容器中读取.xpt 格式文件并转换为 csv 格式

Question

将 .xpt 格式文件从 URL 下载到 Databricks - Python 笔记本中的 blob 容器。

在下面的代码中 - 'example.xpt' 是本地文件。 如何从blob容器中读取.xpt格式文件？

import xport.v56

with open('example.xpt', 'rb') as f:

    library = xport.v56.load(f)

感谢任何输入。 谢谢！

Answer 1

考虑到您已经在集群中安装了库xport并安装了 ADLS blob 容器，请按照以下步骤操作：

• 使用相同的代码，但路径将是 Blob 容器中存在的.xpt文件。

import xport.v56

with open('/dbfs/mnt/repro/ALQY_F.XPT', 'rb') as f:
    # '/dbfs/mnt/repro/' refers to the mount point i.e., to ADLS blob container.
    library = xport.v56.load(f)

• 库object 的类型为class 'xport.v56.Library' 。 library有一个属性values ，它返回一个可迭代的 object。

• 使用以下代码将所需数据写入指定目的地的csv格式

for data in library.values():

    print(type(data)) # <class 'xport.v56.Member'>

    print(dir(data)) # use to check all the possible attributes that can be used on this object

    data.to_csv("/dbfs/mnt/repro/op.csv") #writes as csv to your blob container.