如何在 SageMaker 管道 UI 上显示指标和价值？

Question

从 SageMaker studio 运行 SageMaker 管道，每个管道步骤（例如，ProcessingStep、TrainingStep、LambdaStep）都有一个 output 选项卡，

我试图搜索 SDK 文档，但找不到任何相关内容。 如何将来自自定义处理、培训或 lambda 容器的指标显示到选项卡？

Answer 1

对于内置算法

对于内置算法，我参考了官方的“ Define Metrics ”指南（“使用内置算法进行训练”一章）。

对于自定义算法

问题基本上分两步解决：

1. 在您的脚本（例如，训练脚本）中，您需要记录要拦截的指标。

   简单的打印/日志：

    print(f"New best val_loss score: {your_metric}")

2. 在管道组件的定义中，您应该设置metric_definitions参数。

   例如在Estimators中。

metric_definitions (list[dict[str, str] or list[dict[str, PipelineVariable]]) – 定义用于评估训练作业的指标的字典列表。 每个字典包含两个键：指标名称的“名称”和用于从日志中提取指标的正则表达式的“正则表达式”。 这应该只为不使用 Amazon 算法的作业定义。

要将其用于上述示例，只需定义：

metric_definitions=[
    {'Name': 'val_loss', 'Regex': 'New best val_loss score: ([0-9\.]+)'}
]

PS：请记住，估算器也意味着派生类，例如SKLearn 、 PyTorch等...

---

此时，在您定义要截取的指标的参考步骤中，您将在SageMaker Studio屏幕中找到最后截取的值的键值对，以及用于监控进度的图表（即使在训练期间）在 cloudwatch 指标中。