您如何使用 SageMaker 監控更多“標准”指標？

Question

我正在嘗試可視化多個指標，同時僅使用一個指標作為目標。 我看到了如何使用“AlgorithmSpecification”下的“MetricDefinitions”來定義“自定義”指標，但是如果我們只想查看以下更多內容並在我們的 HyperParameter 調整工作進行時將它們記錄在 CloudWatch 中怎么辦：

validation:accuracy 
validation:auc  
validation:error        
validation:logloss  
validation:mse  

當然，還有更多，我意識到的確切指標可能會根據它是分類問題還是回歸問題而有所不同。

更大的問題是我們如何使用像 XGBoost 那樣的標准容器來指定更多這些指標的“記錄/日志記錄”？

Answer 1

您可以使用 SageMaker 監控每個問題類型的一組指標 Model Monitor[ 參考] 如果您需要監控除默認指標之外的任何其他指標，您可以使用BYOC 方法來監控它們。

可以在此處找到構建 BYOC 的一些示例