使用烧瓶加载和预测keras模型时的最佳实践

Question

我使用此配置app.yaml在Google AppEngine上部署了一个小型Web服务（烧瓶）

manual_scaling:
  instances: 1
resources:
  cpu: 1
  memory_gb: 0.5
  disk_size_gb: 10

我有一个端点来预测句子是否有毒，不幸的是，调用该端点有时确实很慢，有时甚至很快。

当然，我只会加载一次模型，而不会在每次请求时加载。 启动烧瓶时，螺纹为假。

    list_classes = ["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]

    with open('tokenizer.pkl', 'rb') as handler:
        tokenizer = pickle.load(handler)

    model = load_model('m.hdf5')

    app = Flask(__name__)

    def prediction(sentence):
        list_tokenized_train = tokenizer.texts_to_sequences([sentence])
        maxlen = 200
        X_t = pad_sequences(list_tokenized_train, maxlen=maxlen)

        pred = model.predict(X_t)[0]

        dic = {}
        for idx, prob  in enumerate(pred):
            dic[list_classes[idx]] = float(prob) 
        return dict(sorted(dic.items(), reverse=True, key=lambda x: x[1]))


 @app.route('/api/v1/predict/<comment>', methods=['GET'])
 def predict(comment):
     result = prediction(comment)
     return make_response(jsonify({'Comment': comment, 'Result': result}), 200)

if __name__ == '__main__':
    app.run(threaded=False)

我可以增强某些部分以获得更好的性能吗？

Answer 1

从我的角度来看，您的main.py代码看起来不错，我只能在app.yaml文件中看到可能的改进。

选择manual_scaling并将实例数设置为1可能会限制请求的响应时间。 根据发送到实例的请求数，它可能无法足够快地处理它们。 因此，为什么请求之间会有这样的差异。

为了缩短响应时间，我建议您改用自动缩放，并在自动缩放无法解决您的问题的情况下，通过提供更多资源来尝试使您的实例更强大。