为什么在第一次请求Django服务器时响应如此缓慢

Question

现在我在django中使用TensorFlow进行预测。 我测试时有一个问题。 当启动Django服务器时，当第一次请求时，来自Django服务器的响应是如此缓慢，它被sessison.run追捕。 而且当发出第二，第三请求时，速度很快，如何慢慢解决关于第一请求的此问题。

我试图添加一些tf应用程序功能，但是它不起作用。

genfun=get_batch_generator(data_list)
fo = codecs.open("./result", "w","utf-8")
for input_data,y_true in genfun:
    y_pred = sess.run(pred, feed_dict={'text_left:0': input_data['text_left'],'text_right:0': input_data['text_right']})
for y in y_pred:
    fo.write(str(y[1])+"\n")

在运行python manage.py runserver命令时，将sess定义为外部文件。

class NNmodel(object) :
        ins_ = None

        @classmethod
        def instance(cls) :
                cls.ins_ = cls.ins_ if cls.ins_ else NNmodel()
                return cls.ins_

        def __init__(self):
                self.flag_ = False
                self.pred = None
                self.sess = None
        def load(self,nn_model_file) :
                if self.flag_ == True :
                        return
                self.flag_ = True
                gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.3)
                self.sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options,allow_soft_placement = True))
                with tf.gfile.FastGFile(nn_model_file, 'rb') as f:
                        graph_def = tf.GraphDef()
                        graph_def.ParseFromString(f.read())
                        self.sess.graph.as_default()
                        tf.import_graph_def(graph_def, name='')

                # Get graph
                graph = tf.get_default_graph()
                self.pred = graph.get_tensor_by_name("dense_9/Softmax:0")

发出第一个请求时，响应是如此缓慢。

Answer 1

如果您确定在请求函数之外初始化了图形和会话，则只有一种解释：GPU需要预热。

因此，一种解决方案是在初始化会话后立即运行虚拟预测。 例如，您可以输入一些正确形状的随机数。 只是做一个

sess.run(pred, feed_dict={'text_left:0': np.random.rand(batch_size, sentence_size),'text_right:0': np.random.rand(batch_size, sentence_size)})