在Flask / Bottle中将tensorflow模型用作REST API

Question

我在Python瓶（或烧瓶）框架中服务我的tensorflow模型，但我想知道如何启用GPU。

我就是这样创建会话的。

with tf.Session(graph=graph) as sess:
        np_pred_confs, np_pred_boxes = sess.run([pred_confs, pred_boxes], feed_dict=feed_dict_testing)

我在GPU机器上运行代码时应进行哪些更改以启用GPU的使用。

Answer 1

您只需要安装GPU版本的tensorflow就可以使用GPU。 它将自动使用gpu。 此外，您需要为GPU版本tensorflow安装cuda和cudnn。

Answer 2

除了安装TensorFlow的GPU版本之外，您还需要安装：

1. 必要的GPU驱动程序-仅限于NVIDIA
2. CUDA工具包8.0和
3. cuDNN v6或v6.1 （选择“对于CUDA 8.0，下载cuDNN v6.0（2017年4月27日）” ）

请参阅每个操作系统的安装说明：

• 在Ubuntu上运行具有GPU支持的TensorFlow的要求
• 在Windows上运行具有GPU支持的TensorFlow的要求
• 具有GPU支持的TensorFlow在Mac上不可用

如果您在运行入门示例时看到此消息，就会知道它正常工作]（ https://www.tensorflow.org/get_started/get_started#complete_program ）：

 Found device 0 with properties: name: GeForce GTX... 

和

 Creating TensorFlow device (/gpu:0) -> (device: 0, name: GeForce GTX