用于模型托管的 AWS Sagemaker 与 ECS

Question

我在 S3 存储桶中存储了预训练的模型工件。 我想创建一个加载此模型并将其用于推理的服务。

我在 AWS 生态系统中工作，对使用 ECS 还是 Sagemaker 进行模型部署感到困惑？ 选择一个而不是另一个有哪些优点/缺点？

Answer 1

SageMaker 的价格更高，但它承担了部署机器学习模型的大量繁重工作，例如连接各个部分（负载均衡器、gunicorn、CloudWatch、Auto-Scaling...），并且更容易实现自动化A/B 测试等流程。

如果您拥有一支强大的 DevOps 团队而没有更重要的事情要做，那么您可以构建一个比 SageMaker 选项更便宜的流程。 ECS 和 EKS 同时做了很多工作，使您可以轻松实现机器学习模型部署的自动化。 但是，它们将始终具有更通用的用途，并且专注于机器学习的 SageMaker 将更容易用于这些用例。

使用云的通常模式是尽早使用托管服务，因为您想要快速移动并且您不知道未来的问题在哪里。 一旦系统不断发展并且您开始在这里和那里感到一些痛苦，您就可以决定花时间改进系统的那部分。 因此，如果您不知道利弊，请从使用更简单的选项开始。