用於模型托管的 AWS Sagemaker 與 ECS

Question

我在 S3 存儲桶中存儲了預訓練的模型工件。 我想創建一個加載此模型並將其用於推理的服務。

我在 AWS 生態系統中工作，對使用 ECS 還是 Sagemaker 進行模型部署感到困惑？ 選擇一個而不是另一個有哪些優點/缺點？

Answer 1

SageMaker 的價格更高，但它承擔了部署機器學習模型的大量繁重工作，例如連接各個部分（負載均衡器、gunicorn、CloudWatch、Auto-Scaling...），並且更容易實現自動化A/B 測試等流程。

如果您擁有一支強大的 DevOps 團隊而沒有更重要的事情要做，那么您可以構建一個比 SageMaker 選項更便宜的流程。 ECS 和 EKS 同時做了很多工作，使您可以輕松實現機器學習模型部署的自動化。 但是，它們將始終具有更通用的用途，並且專注於機器學習的 SageMaker 將更容易用於這些用例。

使用雲的通常模式是盡早使用托管服務，因為您想要快速移動並且您不知道未來的問題在哪里。 一旦系統不斷發展並且您開始在這里和那里感到一些痛苦，您就可以決定花時間改進系統的那部分。 因此，如果您不知道利弊，請從使用更簡單的選項開始。