Sagemaker：部署時的彈性推理問題

Question

使用sagemaker-python-sdk將部署代碼執行到sagemaker 時，出現以下錯誤：

UnexpectedStatusException: Error hosting endpoint tensorflow-inference-eia-XXXX-XX-XX-XX-XX-XX-XXX: 
Failed. Reason: The image '763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-eia:1.14 
-gpu' does not exist..

我用來部署的代碼是：

predictor = model.deploy(initial_instance_count=1,
                         instance_type='ml.p2.xlarge', accelerator_type='ml.eia1.medium')

如果我刪除了accelerator_type參數，那么端點將被部署而沒有錯誤。 關於為什么會發生這種情況的任何想法？ Sagemaker 似乎指的是不存在的圖像。 我該如何解決？

另外，我確保從這里支持該版本： https : //github.com/aws/sagemaker-python-sdk#tensorflow-sagemaker-estimators '。 我在 TensorFlow 上：1.14。

編輯：事實證明，這是有效的：

predictor = model.deploy(initial_instance_count=1,
                         instance_type='ml.m4.xlarge', accelerator_type='ml.eia1.medium')

所以，我猜彈性推理不適用於 GPU 實例？

注意：我部署端點的所有實例都沒有使用 GPU。 （如果您熟悉或已經成功，請提出一些想法。）

Answer 1

Elastic Inference Accelerator (EIA) 旨在連接到 CPU 端點。