無法加載我通過 sagemaker 筆記本部署的本地預訓練 model

Question

嘗試通過 sagemaker 部署本地預訓練的 model 來制作端點並使用它我最近一直在學習 AI/ML 領域，我就是個菜鳥。 需要幫助。

我部署了一個 model

from sagemaker.pytorch import PyTorchModel

pytorch_model = PyTorchModel(model_data='model.tar.gz',
                             role=role,
                             entry_point='inference.py',
                             framework_version="1.11.0",
                             py_version="py38")

predictor = 
pytorch_model.deploy(instance_type='ml.g4dn.xlarge', 
initial_instance_count=1)

並預測數據

from PIL import Image 
data = Image.open('./samples/inputs/1.jpg')
result = predictor.predict(data)
img = Image.open(result)
img.show()

結果我得到一個錯誤，我無法加載我的 model

您也可以在此處查看錯誤日志

Answer 1

我沒有完全做到，但加載 model 現在運行良好。 這是由於 model.tar.gz 和 inference.py 的結構。

我的 model.tar.gz 的結構如下

model.tar.gz
|
|- model.pt
|- 代碼/
| | | - 代碼/inference.py
| | | - 代碼/requirements.txt

這種結構是必需的。

有時，當您制作 model.tar.gz 時，model.pt 會以某種方式變為空文件，因此最好檢查 model.pt 文件的大小不是“0”b4

另外，如果你對inference.py有錯誤，例如input_fn、predict_fn和output_fn，根據我的經驗，即使model_fn正常工作，也可能會出現Backend worker process died dead。

我現在正在為 request_body 苦苦掙扎。 即使我輸入 JSON 文件，我也會將 request_body 保持為字節數組。 我的期望是 request_body 必須是 JSON，但事實並非如此。

如果我解決了這個問題，我會更新。