如何使用Slurm访问群集中不同节点上的GPU？

Question

我可以访问由Slurm运行的集群，其中每个节点有4个GPU。

我有一个需要8 gpus的代码。

所以问题是如何在群集上请求8 gpus，每个节点只有4 gpus？

所以这是我尝试通过sbatch提交的工作：

#!/bin/bash
#SBATCH --gres=gpu:8              
#SBATCH --nodes=2               
#SBATCH --mem=16000M              
#SBATCH --time=0-01:00     

但后来我收到以下错误：

sbatch: error: Batch job submission failed: Requested node configuration is not available    

然后我将设置更改为此并再次提交：

#!/bin/bash
#SBATCH --gres=gpu:4              
#SBATCH --nodes=2               
#SBATCH --mem=16000M              
#SBATCH --time=0-01:00  
nvidia-smi

结果显示只有4 gpus而不是8 gpus。

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 375.66                 Driver Version: 375.66                    |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  Tesla P100-PCIE...  Off  | 0000:03:00.0     Off |                    0 |
| N/A   32C    P0    31W / 250W |      0MiB / 12193MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   1  Tesla P100-PCIE...  Off  | 0000:04:00.0     Off |                    0 |
| N/A   37C    P0    29W / 250W |      0MiB / 12193MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   2  Tesla P100-PCIE...  Off  | 0000:82:00.0     Off |                    0 |
| N/A   35C    P0    28W / 250W |      0MiB / 12193MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+
|   3  Tesla P100-PCIE...  Off  | 0000:83:00.0     Off |                    0 |
| N/A   33C    P0    26W / 250W |      0MiB / 12193MiB |      4%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

谢谢。

Answer 1

Slurm不支持​​您的需求。 它只能分配给您的作业GPU /节点，而不是GPU /集群。 因此，与CPU或其他可消耗资源不同，GPU不是可消耗的，并且绑定到托管它们的节点。

如果您对此主题感兴趣，可以通过研究将GPU转换为可消耗资源，请查看本文 。 在那里，您将找到使用GPU虚拟化技术的方法。