额外的GPU无法提高Tensorflow性能

Question

我正在使用我的桌面配置测试tensorflow的标准基准，如下所示。

1. 英特尔i7-7700k
2. 华硕B250采矿版
3. 16兆p106
4. 32GB内存
5. Ubuntu 16.04 cuda 9.0和cudnn 7.1
6. 已安装Tensorflow 1.10

但是，8张卡和16张卡的结果相同。

知道为什么发生这种情况吗？

Answer 1

这取决于您的设置以及基准测试中使用的参数。

• 验证nvidia驱动程序是否正常工作： nvidia-smi 。 您所有的GPU都应在此处列出。
• 确认已安装tf-nightly-gpu ： pip list 。 根据基准文档，这是一项要求。
• 在训练模型时，再次使用nvidia-smi检查是否存在实际的GPU利用率，以及使用了多少个GPU。
• 尝试更改variable_update参数值。

Answer 2

我安装了tf-nightly-gpu和variable_update = independent

在此处输入图片说明