TensorFlow：图形优化（GPU与CPU性能）

Question

这个问题最初发布在Github＃3320上 。 最好从这里开始，因为该线程中的原始问题有更多详细信息，因此我不希望在StackOverflow上重新发布。 问题的总结是，使用GPU时，性能低于CPU处理TensorFlow Graph的性能。 包括CPU / GPU时间轴（调试）以进行评估。 返回的评论之一涉及优化Graph以加快处理速度，并要求讨论玩具示例。 “ 原始解决方案 ”是我的强化学习代码，该代码显示了较慢的性能，并创建了一些已发布的代码供社区讨论和评估。

我已经附上了测试脚本以及一些原始数据，跟踪文件和TensorBoard日志文件，以加快审查速度。 CPUvsGPU testing.zip

讨论已移至StackOverflow，因为该主题将使所有Tensorflow用户受益。 我希望发现的是优化已发布图形性能的方法。 GPU与CPU的问题可以分开，因为可以通过更高效的TensorFlow Graph解决。

我要做的是采用原始解决方案并剥离“游戏环境”。 我将其替换为随机数据生成。 在此游戏环境中，没有TensorFlow图的创建/修改。 该结构紧密遵循/ 借鉴了nivwusquorum的Github强化学习示例 。

在7/15/2016，我做了一个“ git pull”前往Tensorflow。 我在启用和未启用GPU的情况下执行了Graph，并记录了时间（请参见附表）。 意外的结果是GPU的性能超过了CPU（这是未达到的最初期望）。 因此，带有支持库的代码“ cpuvsgpu.py”在GPU上的性能更好。 因此，我将注意力转向了原始解决方案和已发布的代码之间的不同之处。 我还将头像更新到2016年7月17日。 确实有所改善，因为原始解决方案上的CPU和GPU之间的总体差异比一周前（我看到47s CPU和71s GPU）再近得多了。 快速浏览一下新的Traces与我的初始Traces，似乎“摘要”可能已更改，但也可能还有其他改进。

我尝试了2种其他组合，以更好地反映原始解决方案的功能。 它们承受着繁重的CPU负载（约60％-70％），并通过并发执行该脚本进行了模拟。 另一个变化是增加“数据IO”， 原始解决方案使用观察列表来随机选择要训练的观察。 此列表有固定的上限，然后在添加新列表时开始删除列表中的第一项。 我认为其中之一可能会减慢数据流向GPU的传输速度。 不幸的是，这两个版本均未导致CPU优于GPU。 我还运行了一个快速的GPUTESTER应用程序，该应用程序执行大型矩阵乘法运算，以感觉到任务大小和预期的时序差异。

我真的很想知道如何改善此图表并减少小型OPS的数量。 似乎这是大多数性能的发展方向。 学习将小操作组合成大操作而又不影响图形逻辑（功能）的任何技巧，将是很好的。

Answer 1

感谢您的精彩文章。

我遇到了类似的问题：对于TensorFlow提供的两个示例，GPU / CPU处理要比单独的CPU处理花费更多的CPU和经过的时间：线性回归损失模型和针对初学者的MNIST，而MNIST Deep脚本显示出CPU的显着改进和使用GPU 分析时已过去GPU 和CPU性能（第10页）开始讨论。

这些是数字：

workload     | win 8.1   win 8.1   win8.1     win 10    win 10    win 10  
workload     | cpu only  cpu       gpu        cpu only  cpu       gpu      
-------------+-----------------------------------------------------------
mnist deep   | 14053     384.26   328.92      12406     289.28   211.79 
mnist deep   | 14044     384.59   328.45      12736     293.71   210.48
mnist10,000  | 24.10      45.85     7.67      26.56      44.42     7.32  
mnist10,000  | 23.94      44.98     7.56      25.80      44.24     7.32  
mnist50,000  | 95.49     198.12    38.26     109.99     197.82    36.15  
mnist50,000  | 96.07     197.86    37.91     109.46     195.39    39.44  
   lr10,000  |  6.23      15.08     1.78       7.38      16.79     1.91  
   lr10,000  |  6.33      15.23     1.78       7.44      16.59     1.91  
  lr100,000  | 48.31     124.37    17.67      62.14     148.81    19.04  
  lr100,000  | 48.97     123.35    17.63      61.40     147.69    18.72  

（资料来源： 分析GPU和CPU性能 ，图64 结果 ）