如何使用AWS Sagemaker托管的自定義Tensorflow模型的多個輸入

Question

我有一個訓練有素的Tensorflow模型，它使用兩個輸入來進行預測。 我已經在AWS Sagemaker上成功設置並部署了該模型。

from sagemaker.tensorflow.model import TensorFlowModel
sagemaker_model = TensorFlowModel(model_data='s3://' + sagemaker_session.default_bucket() 
                              + '/R2-model/R2-model.tar.gz',
                             role = role,
                             framework_version = '1.12',
                             py_version='py2',
                             entry_point='train.py')

predictor = sagemaker_model.deploy(initial_instance_count=1,
                              instance_type='ml.m4.xlarge')

predictor.predict([data_scaled_1.to_csv(),
                   data_scaled_2.to_csv()]
                 )

我總是收到一個錯誤。 我可以使用AWS Lambda函數，但是我沒有看到有關為已部署模型指定多個輸入的任何文檔。 有誰知道如何做到這一點？

Answer 1

您可能需要自定義端點中加載的推理功能。 在SageMaker TF SDK文檔中 ，您可以發現SageMaker TensorFlow部署有兩個選項：

• Python端點 ，這是默認值，檢查修改input_fn可以適應您的推理方案
• TF服務端點

您可以在Cloudwatch中診斷錯誤（可通過sagemaker端點UI訪問），在上述兩者中選擇最合適的服務架構，並在需要時自定義推理功能

Answer 2

只有TF服務端點在一個推理請求中支持多個輸入。 您可以按照此處的文檔來部署TFS端點 - https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/tensorflow/deploying_tensorflow_serving.rst