Model 圖像數據監控在 Vertex AI 中不起作用

Question

我的用例與多類圖像分類有關。 在生產中部署了 CNN Model 並啟用了 Model 監控，僅用於預測漂移檢測，不需要訓練數據。 它會自動創建兩個存儲桶——分析和預測存儲桶。 然后我為 model 測試目的創建並運行了 1000 個實例（相同的請求通過 Apache Bench 執行了 1000 次），因為它是先決條件。 我一直在監控工作以每小時運行一次，采樣率為 100%。 我沒有收到任何 output 或新創建的存儲桶中的日志？

1. 這里有什么錯誤？
2. Vertex AI 沒有為圖像數據啟用 Model 監控（預測漂移檢測）嗎？
3. 我需要采取什么步驟來檢查 Model 監控是否適用於圖像分類 Model。我們需要兩個存儲桶中生成的日志形式的證據。

Answer 1

Model 監控目前僅支持表格 AutoML 和表格自定義訓練模型。 它不支持自定義訓練的圖像分類模型。

對於應盡量減少圖像分類模型中的預測漂移的更主動的方法，Vertex AI 團隊建議如下：

• 擴充您的數據，使您擁有更多樣化的樣本集。 該集合應符合您的業務需求，並根據您的背景進行有意義的轉換。 有關數據擴充的更多信息，請參閱 [2]。

• 利用Vertex Explainable AI 識別對模型分類決策貢獻最大的特征。 這將幫助您以更有教養的方式擴充數據。 有關 Vertex Explainable AI 的更多信息，請參閱 [3]。

[1] https://cloud.google.com/vertex-ai/docs/model-monitoring/overview

[2] https://www.tensorflow.org/tutorials/images/data_augmentation

[3]https://cloud.google.com/vertex-ai/docs/explainable-ai/overview