如何在 SageMaker 管道 UI 上顯示指標和價值？

Question

從 SageMaker studio 運行 SageMaker 管道，每個管道步驟（例如，ProcessingStep、TrainingStep、LambdaStep）都有一個 output 選項卡，

我試圖搜索 SDK 文檔，但找不到任何相關內容。 如何將來自自定義處理、培訓或 lambda 容器的指標顯示到選項卡？

Answer 1

對於內置算法

對於內置算法，我參考了官方的“ Define Metrics ”指南（“使用內置算法進行訓練”一章）。

對於自定義算法

問題基本上分兩步解決：

1. 在您的腳本（例如，訓練腳本）中，您需要記錄要攔截的指標。

   簡單的打印/日志：

    print(f"New best val_loss score: {your_metric}")

2. 在管道組件的定義中，您應該設置metric_definitions參數。

   例如在Estimators中。

metric_definitions (list[dict[str, str] or list[dict[str, PipelineVariable]]) – 定義用於評估訓練作業的指標的字典列表。 每個字典包含兩個鍵：指標名稱的“名稱”和用於從日志中提取指標的正則表達式的“正則表達式”。 這應該只為不使用 Amazon 算法的作業定義。

要將其用於上述示例，只需定義：

metric_definitions=[
    {'Name': 'val_loss', 'Regex': 'New best val_loss score: ([0-9\.]+)'}
]

PS：請記住，估算器也意味着派生類，例如SKLearn 、 PyTorch等...

---

此時，在您定義要截取的指標的參考步驟中，您將在SageMaker Studio屏幕中找到最后截取的值的鍵值對，以及用於監控進度的圖表（即使在訓練期間）在 cloudwatch 指標中。