如何正确 label 并配置 Kubernetes 以使用 Nvidia GPU？

Question

我有一个在裸机上运行的内部 K8s 集群。 在我的一个工作节点上，我有 4 个 GPU，我想配置 K8s 以识别和使用这些 GPU。 根据官方文档，我安装了所有必需的东西，现在当我运行时：

docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi


Tue Nov 12 09:20:20 2019       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 418.67       Driver Version: 418.67       CUDA Version: 10.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce RTX 208...  On   | 00000000:02:00.0 Off |                  N/A |
| 29%   25C    P8     2W / 250W |      0MiB / 10989MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  GeForce RTX 208...  On   | 00000000:03:00.0 Off |                  N/A |
| 29%   25C    P8     1W / 250W |      0MiB / 10989MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   2  GeForce RTX 208...  On   | 00000000:82:00.0 Off |                  N/A |
| 29%   26C    P8     2W / 250W |      0MiB / 10989MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   3  GeForce RTX 208...  On   | 00000000:83:00.0 Off |                  N/A |
| 29%   26C    P8    12W / 250W |      0MiB / 10989MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

我知道我必须对节点进行 label 以便 K8s 识别这些 GPU，但我在官方文档中找不到正确的标签。 在文档上，我只看到了这个：

# Label your nodes with the accelerator type they have.
kubectl label nodes <node-with-k80> accelerator=nvidia-tesla-k80

在另一个教程（仅适用于 google cloude）中，我发现了这一点：

aliyun.accelerator/nvidia_count=1                          #This field is important.
aliyun.accelerator/nvidia_mem=12209MiB
aliyun.accelerator/nvidia_name=Tesla-M40

那么 label 我的节点的正确方法是什么？ 我是否还需要 label 以及 GPU 的数量和 memory 大小？

Answer 1

我看到您正在尝试确保您的 pod 被安排在具有 GPU 的节点上

最简单的方法是 label 一个带有 GPU 的节点，如下所示：

kubectl label node <node_name> has_gpu=true

然后用has_gpu: true创建你的 pod 添加nodeSelector 。 这样，pod 将仅在具有 GPU 的节点上调度。 在 k8s 文档中阅读更多内容

唯一的问题是，在这种情况下，调度程序不知道节点上有多少 GPU，并且可以在只有 4 个 GPU 的节点上调度超过 4 个 Pod。

更好的选择是使用节点扩展资源

它如下所示：

1. 运行kubectl proxy

2. 补丁节点资源配置：

    curl --header "Content-Type: application/json-patch+json" \ --request PATCH \ --data '[{"op": "add", "path": "/status/capacity/example.com~1gpu", "value": "4"}]' \ http://localhost:8001/api/v1/nodes/<your-node-name>/status

3. 将扩展器资源分配给 pod

    apiVersion: v1 kind: Pod metadata: name: extended-resource-demo spec: containers: - name: extended-resource-demo-ctr image: my_pod_name resources: requests: example.com/gpu: 1 limits: example.com/gpu: 1

在这种情况下，调度程序知道节点上有多少 GPU 可用，如果不能满足请求，则不会调度更多的 pod。