简体繁体 English

使用烧瓶服务 pytorch 模型

[英]serving pytorch model using flask

原文 2022-02-06 07:44:24 7 1 python/ multithreading/ flask/ machine-learning/ pytorch

If multiple clients make a request to one server(pytorch model), how does the problem arise in the multithread of the flask or elsewhere?如果多个客户端向一台服务器（pytorch 模型）发出请求，那么问题是如何在烧瓶的多线程或其他地方出现的？

As far as I know, if running the pytorch model with multithreading using flask, the data will get tangled.据我所知，如果使用烧瓶运行多线程的 pytorch 模型，数据会很纠结。 If I'm wrong, please correct it.如果我错了，请纠正它。

"

1 个解决方案

Use a multithreaded approach for Flask<\/code> as well, the request will get throttled if you just initiate a single threaded usual Flask<\/code> server.对Flask<\/code>也使用多线程方法，如果您只是启动一个单线程的常用Flask<\/code>服务器，请求将受到限制。

Use Gunicorn<\/code> : https:\/\/gunicorn.org\/<\/a> to start your Flask server, with a good number of threads, passed as a parameter value to Gunicorn<\/code> .使用Gunicorn<\/code> ： https<\/a> :\/\/gunicorn.org\/ 启动您的 Flask 服务器，使用大量线程，作为参数值传递给Gunicorn<\/code> 。

"

在Flask / Bottle中将tensorflow模型用作REST API - Serving tensorflow model as a REST API in Flask / Bottle

Cnn model 使用 pytorch - Cnn model using pytorch

Deploying on heroku bert pytorch model using flask: ERROR: _pickle.UnpicklingError: invalid load key, 'v' - Deploying on heroku bert pytorch model using flask: ERROR: _pickle.UnpicklingError: invalid load key, 'v'

使用Django服务Keras模型 - Serving Keras Model Using Django

在复杂的 model 上使用 Pytorch 进行修剪 - Pruning using Pytorch on a complicated model

使用 Pytorch model 进行检测 - Using Pytorch model for running detections

服务通用句子编码器 Model 使用 tensorflow 服务和 docker - Serving Univeral Sentence Encoder Model using tensorflow serving and docker

仅在版本更改的情况下为HTTP客户端提供版本化资源-使用Flask - Serving HTTP client with versioned resource only if it has changed - using Flask

使用 SSL 公钥/私钥为 windows 上的女服务员提供 Flask 应用程序 - Serving Flask app with waitress on windows using SSL public/private key

使用Python Flask，AngularJS，测试/生产目录和服务请求 - Using Python Flask, AngularJS, test/production directories and serving requests

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 在Flask / Bottle中将tensorflow模型用作REST API - Serving tensorflow model as a REST API in Flask / Bottle Cnn model 使用 pytorch - Cnn model using pytorch Deploying on heroku bert pytorch model using flask: ERROR: _pickle.UnpicklingError: invalid load key, 'v' - Deploying on heroku bert pytorch model using flask: ERROR: _pickle.UnpicklingError: invalid load key, 'v' 使用Django服务Keras模型 - Serving Keras Model Using Django 在复杂的 model 上使用 Pytorch 进行修剪 - Pruning using Pytorch on a complicated model 使用 Pytorch model 进行检测 - Using Pytorch model for running detections 服务通用句子编码器 Model 使用 tensorflow 服务和 docker - Serving Univeral Sentence Encoder Model using tensorflow serving and docker 仅在版本更改的情况下为HTTP客户端提供版本化资源-使用Flask - Serving HTTP client with versioned resource only if it has changed - using Flask 使用 SSL 公钥/私钥为 windows 上的女服务员提供 Flask 应用程序 - Serving Flask app with waitress on windows using SSL public/private key 使用Python Flask，AngularJS，测试/生产目录和服务请求 - Using Python Flask, AngularJS, test/production directories and serving requests

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM