正确加载支持多租户的Django中的Keras模型

Question

我尝试在django中编写一个REST api，它使用Keras模型返回预测。 但是load_model()函数需要一些时间来加载模型，我不希望我的用户必须等待这么久（每次初始化模型时）。 初始化模型的正确方法是什么，以便加载一次，并使用相同的模型完成预测？

另外，我认为可以冷却的一种方法是在settings.py中初始化模型，如下所示：

settings.py

json_file=open("model.json","r")
loaded_json=json_file.read()
json_file.close()

model=model_from_json(loaded_json)
model.load_weights("model.h5")
MODEL=model

然后在我的views.py中，我使用这个变量MODEL作为：

views.py

from django.conf import settings
model=settings.MODEL
def index():
    print "Predicting"
    res=model.predict(numpy.stack([test_img]))
    print res

如果一次只有一个用户处于活动状态（模型初始化一次，所有后续预测都使用该模型完成），则此方法很有效。 但是，如果一次有多个用户处于活动状态，那么它对于首先出现的呼叫很有效，但后一个呼叫会产生错误

'NoneType' object has no attribute 'shape'
Apply node that caused the error: ConvOp{('imshp', (31, 31, 32)),('kshp', (3, 3)),('nkern', 64),('bsize', None),('dx', 1),('dy', 1),('out_mode', 'valid'),('unroll_batch', None),('unroll_kern', None),('unroll_patch', True),('imshp_logical', (31, 31, 32)),('kshp_logical', (3, 3)),('kshp_logical_top_aligned', True)}(InplaceDimShuffle{0,2,3,1}.0, InplaceDimShuffle{3,2,0,1}.0)
Toposort index: 13
Inputs types: [TensorType(float32, 4D), TensorType(float32, 4D)]
Inputs shapes: [(1L, 31L, 31L, 32L), 'No shapes']
Inputs strides: [(123008L, 124L, 4L, 3844L), 'No strides']
Inputs values: ['not shown', None]
Outputs clients: [[Elemwise{Composite{(i0 * ((i1 + i2) + Abs((i1 + i2))))}}[(0, 1)](TensorConstant{(1L, 1L, 1..1L) of 0.5}, ConvOp{('imshp', (31, 31, 32)),('kshp', (3, 3)),('nkern', 64),('bsize', None),('dx', 1),('dy', 1),('out_mode', 'valid'),('unroll_batch', None),('unroll_kern', None),('unroll_patch', True),('imshp_logical', (31, 31, 32)),('kshp_logical', (3, 3)),('kshp_logical_top_aligned', True)}.0, InplaceDimShuffle{x,0,x,x}.0)]]

我应该如何正确加载模型，以便可以同时访问它？

感谢您的时间。

Answer 1

请看这里请https://github.com/keras-team/keras/issues/2397#issuecomment-254919212

例如。 在Django设置中构建模型...

modelFile = 'path_to_my_model.h5'    
pipe = joblib.load(modelFile.replace('.h5','.pkl'))
model = models.load_model(modelFile)
pipe.steps.append(('nn', model))    
graph = tensorflow.get_default_graph()

然后在Django REST方法中重用如下：

import myDjango.settings as sett
# ...

@csrf_exempt
def evaluate(request):
    """
    Do the evaluation.
    """
    if request.method == 'POST':
        data = JSONParser().parse(request)
        i = data['inputs']

        outputs = MyMlClass.PredictArray( sett.graph, sett.pipe , i, 'model.h5' )

        return JsonResponse(outputs, status=201, safe=False)

非常适合我（VisualStudio Django项目，Python 3.6）。 不推荐在REST处理程序中构建模型，事实上它不起作用 - 它只在第一次调用时才起作用。