多模型端点的无服务推理 - Amazon Sagemaker
[英]Serveless inference over multi-model endpoint - Amazon Sagemaker
问题描述
我使用以下两个选项在 Sagemaker 上创建了一个 model。 我还指定了 ECR 下自定义容器的 URI 以及 model 档案的根路径。
我能够成功创建配置的端点配置，但是，在无服务器的情况下，会显示以下消息。 这是否意味着 Sagemaker 上绝对不可能拥有无服务器多模型端点？
1 个解决方案
解决方案1
0 2023-01-12 05:54:15
这是否意味着 Sagemaker 上绝对不可能拥有无服务器多模型端点？ 基本上使用无服务器，您可以将每个 model 部署为不同的端点，并且它具有成本效益，因为您只需为使用付费。 要从技术上回答您的问题，您不能像使用 Multi model 端点那样在无服务器端点上部署多个模型。
调试和部署 sagemaker 端点的 featurizer（用于 imodel 推理的数据处理器）
[英]debug and deploy featurizer (data processor for imodel inference) of sagemaker endpoint
如何使用 Python SDK 调用 Amazon SageMaker 终端节点
[英]How do I invoke a Amazon SageMaker endpoint with the Python SDK
部署 TensorFlow 概率回归 model 作为 Sagemaker 端点
[英]Deploy TensorFlow probability regression model as Sagemaker endpoint
在 SageMaker 的处理过程中，在 source_dir 中使用 requirements.txt 重新打包推理 model 而无需安装它们
[英]Repack inference model with requirements.txt inside source_dir without installing them during the process in SageMaker
使用 Sagemaker 调用具有预训练自定义端点的调用超时 PyTorch model [推理]
[英]Invocation timed out using Sagemaker to invoke endpoints with pretrained custom PyTorch model [Inference]
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
贤者推理：如何加载model
为 PyTorch Model 调用 SageMaker 端点
使用 java sdk v2 调用 sagemaker 推理端点
调试和部署 sagemaker 端点的 featurizer（用于 imodel 推理的数据处理器）
AWS SageMaker Pipeline Model 端点部署失败
如何使用 Python SDK 调用 Amazon SageMaker 终端节点
部署 TensorFlow 概率回归 model 作为 Sagemaker 端点
优化 sagemaker 上的批量转换推理
在 SageMaker 的处理过程中，在 source_dir 中使用 requirements.txt 重新打包推理 model 而无需安装它们
使用 Sagemaker 调用具有预训练自定义端点的调用超时 PyTorch model [推理]
相关标签