如何通过sagemaker pipeline部署抱脸model

Question

下面是从 Hugging Face Hub 获取 model 并通过 sagemaker 部署相同的 model 的代码。

from sagemaker.huggingface import HuggingFaceModel
import sagemaker

role = sagemaker.get_execution_role()

# Hub Model configuration. https://huggingface.co/models
hub = {
    'HF_MODEL_ID':'siebert/sentiment-roberta-large-english',
    'HF_TASK':'text-classification'
}

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    transformers_version='4.17.0',
    pytorch_version='1.10.2',
    py_version='py38',
    env=hub,
    role=role, 
)

# deploy model to SageMaker Inference
predictor = huggingface_model.deploy(
    initial_instance_count=1, # number of instances
    instance_type='ml.g4dn.xlarge' # ec2 instance type
)

如何通过 sagemaker 管道部署此 model。

如何将此代码包含在 sagemaker 管道中。

Answer 1

先决条件

SageMaker 管道提供许多具有大量功能的不同组件。 您的问题很笼统，需要针对特定问题进行上下文化。

你必须先从建立管道开始。 请参阅完整指南“ 定义管道”。

快速反应

我的答案是遵循这份准确回答您问题的官方 AWS 指南：

SageMaker Pipelines：训练 Hugging Face model，用 Lambda 步骤部署它

---

一般解释

基本上，您需要使用所需的组件构建管道架构，并在Model Registry中注册经过训练的 model。

接下来，您可以遵循两条路径：

1. 触发 lambda自动部署已注册的 model（如指南所示）。
2. 在管道上下文之外，通过检索在 Model 注册表上注册的 model 的 ARN 进行自动部署。 您可以从register_step.properties.ModelPackageArn或使用 boto3 的外部脚本中获取它（例如使用list_model_packages ）