Model SageMaker中的管理：Model Package組的使用

Question

我們有大量模型，我們計划對其進行訓練/測試/部署/使用。 我們有幾個級別的產品 - 從國家 -> 地區 -> 倉庫 -> 部門 -> Class A -> Class B -> 產品 ID 等，一些模型將針對整個國家級別，一些模型將用於國家+地區級別，當然，同樣它會將 go 下調到 Class B 和 Product 級別。 這意味着如果總共有 10,000 個產品——我們將在產品級別有 10,000 個模型。 在這種情況下，我們可以擁有成千上萬個模型，我們想知道如何管理這些模型。 命名約定以及將它們組合在一起以便於查找等也是 model 管理的一部分。 我們最初的想法是使用 Sagemaker Model Package Group 對這些模型進行分組——這樣我們就可以根據需要輕松地組織和查找它們。 However, I just learned that one SageMaker Model Package Group is a flat structure - which means one Model Package Group cannot contain another Model Package Group - so this hierarchical organization of models could not be replicated using Model Package Group.

問題是：我們如何在生產中實現這種 model 組織？ 這不是什么不尋常的情況，我相信有很多零售商正在處理這樣的 model 管理場景。 他們是怎么做到的呢？ 如果 model package 沒有用，還有什么可以用來組織它們，如何組織？

任何建議/想法將不勝感激。

謝謝

Answer 1

使用 SageMaker Model 注冊表，您可以通過創建包含 model 的不同版本的model package groups對模型進行編目。 您可以創建一個model group來跟蹤您為解決特定問題而訓練的所有模型。

所以基本的想法是你有一個業務問題，你為它創建一個組並存儲所有模型及其版本。

根據該定義，將 model package 組置於另一個 model package 組之下是無效的情況。 這不是 model 組的定義方式，也不是 model 組的用途。

此外，這個問題不僅限於模型，你可以在任何地方看到它是軟件工程。 無論是存儲 jar 個文件還是 python 個包等。

我建議將此問題視為軟件工程問題並依賴命名空間約定。 而不是分層思考： Country -> Region -> Warehouse -> Department -> Class A -> Class B -> Product ID

我們能想到country.region.warehouse.department.classA.classB.product_id嗎？

與您可能管理 docker 圖像的方式類似，您可以創建這樣的名稱空間和 go，只要您願意就可以了。 您仍然尊重等級制度，但也沒有維護等級制度。

讓我知道您對這種方法的看法。