Kubernetes 以負載平衡的方式調度 GPU-pod

Question

這個 kubernetes 集群有 n 個節點，其中一些節點上裝有多個 NVIDIA 1080Ti GPU 卡。

我有兩種 pod 1. 啟用 GPU，這些需要在安裝了 GPU 的節點上進行調度，其中 pod 將僅使用該節點上存在的 GPU 卡之一。 2. CPU only，現在這些可以在任何地方調度，最好在只有 CPU 的節點上。

這個答案清楚地解決了調度問題。

問題：在安裝了 GPU 的節點上調度支持 GPU 的 pod 時，我希望能夠決定我的 pod 將使用這些多張 GPU 卡中的哪一張 GPU 卡。 此外，我正在考慮一個負載均衡器，它可以透明地設置在黑白 GPU 硬件和 pod 中，它們將決定映射。

對此架構的任何幫助將不勝感激。 謝謝！

Answer 1

您必須使用官方 NVIDIA GPU 設備插件，而不是 GCE 建議的。 有可能按屬性安排 GPU

Pod 可以根據節點上公布的屬性指定設備選擇器。 這些可以在容器級別指定。 例如：

apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  containers:
    - name: cuda-container
      image: nvidia/cuda:9.0-base
      command: ["sleep"]
      args: ["100000"]
      computeResourceRequests: ["nvidia-gpu"]
  computeResources:
    - name: "nvidia-gpu"
      resources:
        limits:
          nvidia.com/gpu: 1
      affinity:
        required:
          - key: "nvidia.com/gpu-memory"
            operator: "Gt"
            values: ["8000"] # change value to appropriate mem for GPU

檢查 NVIDIA GPU 上的 Kubernetes 安裝指南

希望這會有所幫助