使用階躍函數比較兩個 sagemaker 訓練的模型

Question

正如標題所說，我正在嘗試找到一種方法來使用步進函數對在 sagemaker 中訓練的兩個模型進行比較。 循環目前看起來是這樣的：開始訓練，保存 model，運行 lambda 檢查准確率是否大於 90%，如果滿足：啟動批處理作業，如果不滿足：循環終止. 我希望能夠部署的解決方案不是與 90% 的准確率進行比較，而是與之前的培訓進行比較。 我目前正在使用 Step Functions Data Science SDK。

Answer 1

With Step Functions：在 S3 中保存一個 json 文件，其中包含之前的 model 評估結果，並有一個 Lambda 步驟來比較當前和之前的結果。

還可以考慮使用 SageMaker Pipelines 而不是 Step Functions。 由於SageMaker Pipelines 與 SageMaker Experiments 集成，您將添加此條件邏輯：

在評估步驟（處理作業）中，獲取先前執行的准確度值並計算最佳值。 這將通過處理腳本中的 Python 代碼完成。 然后，生成一個 JSON 文件，其中包含當前執行的准確度值和過去執行中的最佳值。 定義一個條件步驟，使用PropertyFile和 JsonGet 表達式從 JSON 文件中讀取條件的左側和右側，以獲得類似 [accuracy > previous_best_accuracy] 的條件。