SageMaker Endpoint：调用 InvokeEndpoint 操作时 ServiceUnavailable 503

Question

我已经部署了一个 model 作为 SageMaker 端点，它在一段时间内运行良好，但现在通过 boto3 调用 model 时

import boto3

client = boto3.client('sagemaker-runtime')

response = client.invoke_endpoint(
        EndpointName="my-sagemaker-endpoint",
        ContentType="text/csv",
        Body=payload,
)

我收到以下错误

ServiceUnavailable: An error occurred (ServiceUnavailable) when calling the InvokeEndpoint operation (reached max retries: 4): A transient exception occurred while retrieving variant instances. Please try again later.

在SageMaker 文档中研究此错误，它指出以下内容

由于服务器的临时故障，请求失败。

我还检查了 CW 中的实例指标，没有任何异常。

我不确定为什么会发生此错误，任何建议都会有所帮助。

Answer 1

TL; DR 错误源于实例无法从 s3 检索 SageMaker Model 工件。

解释

SageMaker 端点实施/ping路由，检查 model 工件是否能够在实例中加载。 首先从 s3 检索 model 工件，然后将其加载到实例中。 如果 model 在 s3 上不可用，它会显示以下错误（下图）

由于 model 工件由于被意外删除而无法从 s3 检索，因此无法加载它，从而在调用/ping路由检查端点是否健康时引发错误No such file or directory （见下图）

这反过来使负载均衡器假设实例有问题，阻止您访问它，因此当您尝试调用端点时，您会收到503: Service Unavailable Error

解决方案

我只是通过重新部署到一个新端点来解决这个问题，但这次考虑了以下几点：

• 至少num_instances=2以保证每个实例都在不同的 AZ，LB 至少与一个健康的实例通信。
• 确保只有特定角色对 s3 model 工件路由models/model-name/version具有s3:PutObject权限