如何为TensorFlow估算器充分利用GPU？

Question

我为我的深度学习模型使用Tensorflow（CPU版本）。 具体来说，使用DNNRegressor Estimator进行训练，并使用给定的参数集（网络结构，隐藏层，alpha等），虽然我可以减少损失，但是模型花费了很大的学习时间（大约3天），并且花了每100步耗时9秒。

我浏览了这篇文章： https ：//medium.com/towards-data-science/how-to-traine-tensorflow-models-79426dabd304，发现GPU的学习速度更快。 所以我从AWS（单核GPU）那里获取了p2.xlarge gpu 具有4（vCPU），12（ECU）和61（MiB）。

但是学习速度是相同的，每100步为9秒。 我使用的代码与用于CPU上的估算器的代码相同，因为我读到估算器自己使用GPU。 这是我的“ nvidia-smi”命令输出。

• 显示正在使用GPU内存，但是我的Volatile GPU-Util为1％。 无法弄清楚，我错过了什么。 它的设计工作原理是一样的还是我缺少什么，因为每秒的全局步数对于Estimators的CPU和GPU实现都是相同的。
• 我是否必须在DNNRegressor估算器代码中明确更改某些内容？

Answer 1

听起来您可能正在从csv读取并转换为pandas DataFrame，然后使用tensorflow的pandas_input_fn。 这是pandas_input_fn的实现中的一个已知问题。 您可以在https://github.com/tensorflow/tensorflow/issues/13530上跟踪问题。

为了解决这个问题，您可以对I / O使用不同的方法（例如，从TFRecords读取）。 如果您想继续使用熊猫并增加步数/秒，则可以减小batch_size，尽管这可能会对估算者的学习能力产生负面影响。