多GPU上的默认Tensorflow设备

Question

如果我在多GPU平台上使用一个GPU运行一个tensorflow模型（例如cifar10），则tensorflow会在所有可用GPU上创建并广播（训练/推理）数据。 由于我将num_gpus设置为1，因此它仅在一个GPU上运行。 但是，我也可以在其他GPU上看到相同的过程。 有意吗 有什么理由吗？ 我很快检查了其他DL框架（例如Caffe），但是设计/操作有所不同。 当然，我可以在代码级别指定device ，但我很好奇。 另外，如果共享计算机，则此默认设计可能会使其他用户烦恼。

tensorflow/core/common_runtime/gpu/gpu_device.cc:977] Creating TensorFlow device (/gpu:0) -> (device: 0, name:

tensorflow/core/common_runtime/gpu/gpu_device.cc:977] Creating TensorFlow device (/gpu:1) -> (device: 1, name: 

tensorflow/core/common_runtime/gpu/gpu_device.cc:977] Creating TensorFlow device (/gpu:2) -> (device: 2, name: 

tensorflow/core/common_runtime/gpu/gpu_device.cc:977] Creating TensorFlow device (/gpu:3) -> (device: 3, name: ...



+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID  Type  Process name                               Usage      |
|=============================================================================|
|    0     67056    C   python                                       15623MiB |
|    1     67056    C   python                                       15499MiB |
|    2     67056    C   python                                       15499MiB |
|    3     67056    C   python                                       15499MiB |
|    4     67056    C   python                                       15499MiB |

Answer 1

默认情况下，在启动时，TensorFlow会在其可见的所有设备上分配几乎所有GPU内存。 但是，除非另行指定（在with tf.device():块中指定with tf.device(): ，否则它将仅在对TensorFlow已知为"/gpu:0"的设备上进行操作，而其他GPU将处于空闲状态。

有两种解决方法：

1. 设置环境变量CUDA_VISIBLE_DEVICES=0 （或1 ， 2启动之前，等适当的） python来控制哪些设备到TensorFlow可见。 创建第一个tf.Session时，也可以使用tf.ConfigProto选项visible_device_list进行配置。

2. 创建第一个tf.Session时，设置tf.ConfigProto选项allow_growth=True 。 这将防止TensorFlow预先分配所有GPU内存。