无法加载我通过 sagemaker 笔记本部署的本地预训练 model

Question

尝试通过 sagemaker 部署本地预训练的 model 来制作端点并使用它我最近一直在学习 AI/ML 领域，我就是个菜鸟。 需要帮助。

我部署了一个 model

from sagemaker.pytorch import PyTorchModel

pytorch_model = PyTorchModel(model_data='model.tar.gz',
                             role=role,
                             entry_point='inference.py',
                             framework_version="1.11.0",
                             py_version="py38")

predictor = 
pytorch_model.deploy(instance_type='ml.g4dn.xlarge', 
initial_instance_count=1)

并预测数据

from PIL import Image 
data = Image.open('./samples/inputs/1.jpg')
result = predictor.predict(data)
img = Image.open(result)
img.show()

结果我得到一个错误，我无法加载我的 model

您也可以在此处查看错误日志

Answer 1

我没有完全做到，但加载 model 现在运行良好。 这是由于 model.tar.gz 和 inference.py 的结构。

我的 model.tar.gz 的结构如下

model.tar.gz
|
|- model.pt
|- 代码/
| | | - 代码/inference.py
| | | - 代码/requirements.txt

这种结构是必需的。

有时，当您制作 model.tar.gz 时，model.pt 会以某种方式变为空文件，因此最好检查 model.pt 文件的大小不是“0”b4

另外，如果你对inference.py有错误，例如input_fn、predict_fn和output_fn，根据我的经验，即使model_fn正常工作，也可能会出现Backend worker process died dead。

我现在正在为 request_body 苦苦挣扎。 即使我输入 JSON 文件，我也会将 request_body 保持为字节数组。 我的期望是 request_body 必须是 JSON，但事实并非如此。

如果我解决了这个问题，我会更新。