Azure ML 文件数据集 mount() 很慢 & 下载数据两次

Question

我使用 Azure ML python API 创建了一个 Fie 数据集。有问题的数据是一堆镶木地板文件（~10K 个镶木地板文件，每个大小为 330 KB），分布在多个分区的 Azure Data Lake Gen 2 中。 然后，我尝试将数据集挂载到 AML 计算实例中。 在此安装过程中，我观察到每个 parquet 文件都已在计算实例的 /tmp 目录下下载了两次，并在控制台日志中打印了以下消息：

Downloaded path: /tmp/tmp_3qwqu9u/c2c69fd1-9ded-4d69-b75a-c19e1694b7aa/<blob_path>/20211203.parquet is different from target path: /tmp/tmp_3qwqu9u/c2c69fd1-9ded-4d69-b75a-c19e1694b7aa/<container_name>/<blob_path>/20211203.parquet

为作为数据集一部分的每个镶木地板文件打印此日志消息。

此外，安装数据集的过程非常缓慢：大约 10K 个镶木地板文件每个大小为 330 KB 需要 44 分钟。

Jupyter Lab 中的“%%time”命令显示大部分时间已用于 IO 进程？

CPU times: user 4min 22s, sys: 51.5 s, total: 5min 13s
Wall time: 44min 15s

注意：Data Lake Gen 2 和 Azure ML 计算实例都在同一个 virtual.network 下。

这是我的问题：

1. 如何避免下载 parquet 文件两次？
2. 如何使安装过程更快？

我已经完成了这个线程，但是那里的讨论没有结束

我用过的Python代码如下：

data = Dataset.File.from_files(path=list_of_blobs, validate=True)
dataset = data.register(workspace=ws, name=dataset_name, create_new_version=create_new_version)
mount_context = None
try:
    mount_context = dataset.mount(path_to_mount)
    # Mount the file stream
    mount_context.start()
except Exception as ex:
    raise(ex)

df = pd.read_parquet(path_to_mount)

Answer 1

可靠的选项是直接从 AzureBlobDatastore 下载。 您需要知道数据存储和相对路径，您可以通过打印数据集描述获得这些信息。 即

ws = Workspace.from_config()
dstore = ws.datastores.get(dstore_name)
target = (dstore, dstore_path)
with tempfile.TemporaryDirectory() as tmpdir:
    ds = Dataset.File.from_files(target)
    ds.download(tmpdir)
    df = pd.read_parquet(tmpdir)

方便的选项是stream 表格数据集。 请注意，您无法控制文件的读取方式（Microsoft 转换器有时可能无法按预期工作）。 这是模板：

ds = Dataset.Tabular.from_parquet_files(target)
df = ds.to_pandas_dataframe()

Answer 2

我执行了一系列测试来比较FileDataset.mount()和FileDataset.download()的性能。 在我的环境中， download()比mount()快得多。

当计算的磁盘大小足以容纳所有文件时， download()运行良好。 然而，在多节点环境中，相同的数据（在我的例子中是 parquet 文件）被下载到每个节点（多个副本）。 根据文档：

如果您的脚本处理数据集中的所有文件，并且您的计算资源上的磁盘对于数据集来说足够大，则下载访问模式是更好的选择。 下载访问模式将避免在运行时流式传输数据的开销。 如果您的脚本访问数据集的一个子集或者它对于您的计算来说太大了，请使用装载访问模式。

在多节点环境中下载数据可能会引发性能问题（ 链接）。 在这种情况下， mount()可能是首选。

我也尝试过使用 TabularDataset。 正如Maciej S所提到的，在 TabularDataset 的情况下，用户不需要决定如何从数据存储中读取数据（即用户不需要 select 挂载或下载作为访问模式）。 但是，对于 TabularDataset 的当前实现 (azureml-core 1.38.0)，对于相同的镶木地板文件集，与 FileDataset.download() 相比，计算需要具有更大的 memory (RAM)。 看起来，当前的实现首先将所有单独的镶木地板文件读入 pandas DataFrame（保存到内存/RAM 中）。 然后它将这些附加到单个 DataFrame（由 API 用户访问）。 API 的这种“急切”性质可能需要更高的 memory。