从 Azure Devops 提交 Azure ML 作业时出现磁盘已满错误

Question

我正在使用 Azure DevOps 为多个 ML 模型的持续训练创建管道。

在 Pipeline 中，我使用 Azure CLI 和 azure ml 扩展来提交每个 ML 模型的训练作业。 我在下面附上了一张图片，让您了解管道的外观。

我面临的主要问题是，当我想使用 TensorFlow 时，出现了几个依赖问题。 所以我决定使用预装 TensorFlow 2.7.0 的基础镜像，然后添加所需库的 rest。 基本映像是mcr.microsoft.com/azureml/curated/tensorflow-2.7-ubuntu20.04-py38-cuda11-gpu:23 。

但是现在当我运行管道时，我收到一条错误消息，说磁盘已满。

为了缓解这个问题，我尝试使用更好的计算实例，我最初使用 2 个内核，然后升级到 4 个，但错误仍然存在。 仅供参考，我正在使用的数据并不大，因为我正在尝试构建管道的架构。

我创建了一个 azure 虚拟机并将其附加为用于训练 model 的计算，但我又遇到了另一个错误。

我现在该怎么办？ 怎样才能解决这个问题？ 还有比这更好的模型训练方法吗？ 我的目标是在 CI 管道中训练模型，并在发布管道中部署最好的模型。