在哪里可以找到 tensorflow 服务 URL？

Question

我为tensorflow-serving创建了一个Dockerfile ，如下所示：

FROM tensorflow/serving

COPY /model_dir /models/model/

我docker-compose这种方式docker-compose

  tensorflow-servings:
    container_name: tfserving_classifier
    build: ./some_model_dir
    ports:
      - 8501:8501

在 tensorflow-container 中，模型位于/models/model/1

这是我尝试服务的方式

# server URL
url = 'http://localhost:8501/v1/models/model/1:predict'


def make_prediction(instances):
    data = json.dumps({"signature_name": "serving_default", "instances": instances.tolist()})
    headers = {"content-type": "application/json"}
    json_response = requests.post(url, data=data, headers=headers)
    predictions = json.loads(json_response.text)['predictions']
    return predictions

这是python代码容器消息：

requests.exceptions.ConnectionError: HTTPConnectionPool(host='localhost', port=8501): Max retries exceeded with url: /v1/models/model/1:predict (由 NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f315c19c4c0 >：无法建立新连接：[Errno 111] 连接被拒绝'))

我相信这是由于 URL 不正确，我怎样才能为我的 tensorflow 服务获取正确的 URL？

这是张量流服务容器消息：

I tensorflow_serving/model_servers/server.cc:393] Running gRPC ModelServer at 0.0.0.0:8500 ...

I tensorflow_serving/model_servers/server.cc:414] Exporting HTTP/REST API at:localhost:8501 ...

Answer 1

localhost只到达容器内部，使用 tensorflow 的服务名或容器名从脚本容器到达

http://tensorflow-servings:8501/v1/models/model/1:predict