如何在同一台机器的不同GPU上并行运行许多TensorFlow实例？

Question

假设我并行启动以下命令以在同一台机器上一次训练许多TensorFlow模型：

• python3 launch_training.py --gpu 0
• python3 launch_training.py --gpu 1
• python3 launch_training.py --gpu 2
• python3 launch_training.py --gpu 3
• python3 launch_training.py --gpu 4
• python3 launch_training.py --gpu 5
• python3 launch_training.py --gpu 6
• python3 launch_training.py --gpu 7

我们假设在launch_training.py内部launch_training.py了一个TensorFlow图和会话，并具有以下上下文： with tf.device('/gpu:0'): --gpu其中0替换为正确的--gpu索引参数）。

这样行吗？ 如果没有，我必须采取哪些步骤来使这项工作进行？ 在租用GPU之前，我想知道这一点。

Answer 1

您必须with tf.device('gpu:N')指定一个gpu设备，其中N是设备索引。 首先阅读https://www.tensorflow.org/programmers_guide/using_gpu和https://github.com/carla-simulator/carla/issues/116

我认为您对在不同的GPU上多次运行同一脚本和使用多个GPU来运行一个脚本感到困惑。 在前一种情况下，请阅读TensorFlow指南的“在多GPU系统上使用单个GPU”部分，而在后一种情况下，请阅读“使用多个GPU”。