503 错误：在进行推理时服务不可用 heroku

Question

我已经在 Heroku 中使用 Fast API 部署了一个机器学习模型，并且我已经实现了后台工作程序和异步，但是当我进行推理时，我仍然收到 503 错误。 我知道 Heroku 中的服务器响应时间是 30 秒。

但是当我使用后台工作者时，我应该能够在后台运行，相反，我遇到了错误。 我正在使用 Heroku 免费计划进行部署

app = FastAPI()
response = {}
@app.get('/predict')
async def predictions(solute, solvent):
    mol = Chem.MolFromSmiles(solute)
    response["predictions"] = delta_g.item()
    return {'result': response}

async def predict(background_tasks: BackgroundTasks,solute,solvent):
    background_tasks.add_task(predictions,solute,solvent)
    
from predict_json import json_data_func

@app.get('/predict_two')
async def predictions_two(solute):
    for i in data:
        delta_g, interaction_map = model([get_graph_from_smile(Chem.MolToSmiles(Chem.AddHs(Chem.MolFromSmiles(solute)))).to(device), get_graph_from_smile(Chem.MolToSmiles(Chem.AddHs(Chem.MolFromSmiles(i)))).to(device)])
        response_two[i] = delta_g.item()
    return {'result': response_two}

async def predict_two(background_tasks: BackgroundTasks,solute):
    background_tasks.add_task(predictions_two,solute)

Answer 1

您可以按照gunicorn 文档<\/a>中的说明向 gunicorn 添加timeout<\/code>参数（使用-t<\/code>或--timeout<\/code> ）。

示例用法：

gunicorn -w 2 -k uvicorn.workers.UvicornWorker -t 90 main:app