如何使用 Docker 和 DigitalOcean Spaces 部署 TensorFlow Serving

Question

您如何配置 TensorFlow Serving 以使用存儲在 DigitalOcean Spaces 中的文件？

解決方案很重要：

• 提供對配置和模型文件的訪問
• 提供對數據的非公開訪問

我在 DigitalOcean Spaces 中配置了一個名為your_bucket_name的存儲桶，其結構如下：

- your_bucket_name
  - config
    - batching_parameters.txt
    - monitoring_config.txt
    - models.config
  - models
    - model_1
      - version_1.1
        - variables
          - variables.data-00000-of-00001
          - variables.index
        - saved_model.pb
   - model_2
       - ...
   - model_3
       - ...

Answer 1

TensorFlow Serving 支持與 Amazon S3 存儲桶集成。 由於 DigitalOcean Spaces 提供了類似的界面，因此可以通過 Docker 搭載 S3 界面輕松地使用 DigitalOcean Spaces 運行 TensorFlow Servings。

為了方便其他人，我在下面詳細介紹了有關運行服務器的所有信息：

1. 環境變量（可選）

在您的環境中定義以下變量：

AWS_ACCESS_KEY_ID=...
AWS_SECRET_ACCESS_KEY=...

（這不是絕對必要的，但定義這些變量會使您的部署比將值硬編碼到 docker-compose 文件中更安全，例如。）

作為配置雲存儲桶的一部分，您從 DigitalOcean Spaces 接收這些變量的值。

2. 服務器

您可以使用 Docker 或 docker-compose 啟動服務器：

2.1. 使用 Docker

這是從命令提示符啟動服務器的最小 docker 命令：

docker run \
    -p 8500:8500 \
    -p 8501:8501 \
    -e AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID} \
    -e AWS_REGION=nyc3 \
    -e AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY} \
    -e S3_ENDPOINT=nyc3.digitaloceanspaces.com \
    tensorflow/serving \
    --model_config_file=s3://your_bucket_name/config/models.config

（要在 Windows 上運行它，您可能需要刪除反引號換行符以使其成為單行命令。）

2.2. 使用 docker-compose

這個 docker-compose 配置在配置服務器的方式上更詳細一點，但是您也可以將這些選項與簡單的docker命令一起使用。

version: "3"
services:
  tensorflow-servings:
    image: tensorflow/serving:latest
    ports:
      - 8500:8500
      - 8501:8501
    command:
      - --batching_parameters_file=s3://your_bucket_name/config/batching_parameters.txt
      - --enable_batching=true
      - --model_config_file=s3://your_bucket_name/config/only_toxic.config
      - --model_config_file_poll_wait_seconds=300
      - --monitoring_config_file=s3://your_bucket_name/config/monitoring_config.txt
      - --rest_api_timeout_in_ms=30000
    environment:
      - AWS_ACCESS_KEY_ID=${AWS_ACCESS_KEY_ID}
      - AWS_LOG_LEVEL=3
      - AWS_REGION=nyc3
      - AWS_SECRET_ACCESS_KEY=${AWS_SECRET_ACCESS_KEY}
      - S3_ENDPOINT=nyc3.digitaloceanspaces.com

這里的日志級別降低了，因為有很多不是實際錯誤的“連接已釋放”和“無響應正文”消息。 （有關更多詳細信息，請參閱GitHub 問題：使用 S3 時 AWS 庫很冗長。）

3. 配置文件：

配置文件如下所示：

3.1. 模型配置文件

model_config_list {
  config {
    name: 'model_1'
    base_path: 's3://your_bucket_name/models/model_1/'
      model_platform: "tensorflow"
  },
  config {
    ...
  },
  config {
    ...
  }
}

3.2. batching_parameters.txt（可選）

該文件定義了 TensorFlow Serving 的指南； 引導它在服務器中處理批處理的方式。

    max_batch_size { value: 1024 }
    batch_timeout_micros { value: 100 }
    num_batch_threads { value: 4 }
    pad_variable_length_inputs: true

3.3. monitoring_config.txt（可選）

該文件通過下面定義的端點提供各種統計信息。

prometheus_config {
  enable: true,
  path: "/monitoring/metrics"
}```