使用REST API和SSL自身證書的Tensorflow服務GPU

Question

我正在嘗試在Centos 7 Docker容器中使用REST API安裝TensorFlow-gpu。 但我無法為此找到確切的過程。 我需要安裝以下依賴項嗎？

• 我已經安裝了cuda 9.0
• cdDNN 7.4
• NCCL 2.x

Answer 1

我尚未開始使用GPU構建Tensorflow服務。 我正處於研究階段〜在此過程中，每篇文章均顯示與Ubuntu安裝相關的信息，並且我試圖在centos 7中安裝install ..，所以我沒有任何docker文件..

希望這可以幫助您和我獲得解決方案。

Answer 2

這是我用來構建一個tensorflow-serving-runtime docker鏡像的東西。

FROM nvidia/cuda:9.0-cudnn7-runtime-centos7

ARG TF_VERSION=1.9.0

RUN yum install -y  \
    yum-plugin-ovl \
    libgomp \
    ca-certificates \
    zip \
    unzip \
    curl \
        && \
    yum clean all

WORKDIR /usr/
RUN curl -sSL -o /usr/nccl_2.2.13-1-cuda9.0_x86_64.tgz http://some-of-my-net-disk/tensorflow-serving/lib/nccl_2.2.13-1-cuda9.0_x86_64.tgz && \    # Change your way to get nccl library here
    tar -xvf nccl_2.2.13-1-cuda9.0_x86_64.tgz &&\
    rm -f nccl_2.2.13-1-cuda9.0_x86_64.tgz

ENV LD_LIBRARY_PATH /usr/nccl_2.2.13-1+cuda9.0_x86_64/lib/:${LD_LIBRARY_PATH}

# Change your way to get tensorflow_model_server here
WORKDIR /serving
RUN curl -sSL -o /usr/local/bin/tensorflow_model_server http://some-of-my-net-disk/tensorflow-serving/bin/tf-serving-${TF_VERSION}/tensorflow_model_server_gpu-centos &&\
    chmod u+x /usr/local/bin/tensorflow_model_server

對我來說，這很好。 希望能幫助到你。