Azure model 部署（實時端點與計算推理集群）

Question

在這里尋求幫助。

ManagedOnlineDeployment 與 Kube.netesOnlineDeployment

目標：在 Azure ML 上托管大量不同的模型。

描述：經過全面調查，我發現有兩種方法可以在 Azure ML 上托管預訓練的實時 model（即運行推理）。

• 實時端點 - 托管在線部署
• Compute Inference cluster - kube.netes-online-endpoints兩個選項的區別在這里詳述。 我想托管大量不同的模型（即端點），同時擁有最佳的性價比/易於部署的比率。

細節：

我的嘗試 由於創建了 4 個實時端點，我有 4 個正在運行的虛擬機。 這些端點使用 Microsoft 提供的 Curated Environments。

虛擬機

部署的實時端點

問題

1. 當我想從 docker 文件創建自定義環境，然后將其用作某個端點的基礎映像時，這是一個漫長的過程：

構建圖像 > 將圖像推送到 CR > 在 AzureML 中創建自定義環境 > 創建和部署端點

如果出現問題，它只會在我完成整個管道時顯示。 它只是感覺不像部署 model 的正確方法。當我無法使用其中一個策划環境時需要此過程，因為我需要一些無法使用 conda.yml 文件導入的依賴項

例如： RUN apt-get update -y && apt-get install build-essential cmake pkg-config -y RUN python setup.py build_ext --inplace

2. 雖然我每個端點使用 1 個實例（實例計數 = 1），但每個端點都會創建其專用 VM，從長遠來看這會花費我很多錢（即，當我有很多端點時），現在我花費了大約 20 $ 每天。

---

注意：每個端點都有一組不同的依賴項/版本......

---

問題：

1- 我是否遵循最佳實踐？ 或者我是否需要徹底改變我的部署策略（從 ManagedOnlineDeployment 移動到 Kube.netesOnlineDeployment 或者我不知道的另一個選項）？ 2- 有沒有辦法在單個虛擬機上托管所有端點？ 而不是為每個端點創建一個虛擬機。 讓它負擔得起。 3- 有沒有辦法托管端點並按交易收費？

---

非常歡迎一般性建議和澄清問題。

謝謝！

Answer 1

• 作為要求的一部分，有一個使用批處理端點創建的標准過程。

• 批處理端點將用於在我們當前環境中運行的任意數量的模型的重復過程。 我們可以調用已注冊的模型（無需注冊model，我們可以獲得工件）。 獲取工件並下載 model。使用如下所述的任何過程部署它。

• 使用自定義環境並使其成為單個批處理端點的最大（功能）。 但是除了 docker 和 conda 環境之外，沒有其他程序可以為這種方法創建和使用環境。 如果有任何可用的預定義 docker 配置，請使用該配置或使用 docker 本身創建它。 避免 conda 規范。

• 從可用選項中，選擇對應用程序最有用的選項並創建。 然后我們就可以部署了。

• 此過程將減少配置負擔並改進功能。