504-负载平衡器错误。 当 ML model 仅由一个用户运行时网站挂起

Question

我认为我的 webapp 很酷。 这是一个自然语言播放列表生成器。 它接受播放列表的描述，例如：

“因为我女朋友和我分手了，所以在洗澡的时候会哭到中西部的情绪歌曲”

并将其转换为由 NLP 转换器 model（特别是 SentenceTransformers）生成的嵌入，并执行推荐系统操作以返回播放列表中的歌曲给用户。

我的网站在用户提交他们的描述后挂起，5 分钟后我收到 504 负载均衡器错误。 在跟踪代码挂起的位置后，它似乎在 model.encode(text) 期间停止，它通过 ML model 运行用户查询以获取嵌入。

这段代码在我的本地机器上运行没有问题，当我在控制台中运行它时，它通过 ML model 处理文本也没有问题。

我应该怎么办？ 添加更多工人？ 释放程序空间？ 让我知道。

以下是运行 model.encode() 后我的服务器日志。

2022-11-26 07:53:26 entered the get embedding function

2022-11-26 07:53:27 announcing my loyalty to the Emperor...

2022-11-26 07:54:11 Sat Nov 26 07:54:10 2022 - HARAKIRI ON WORKER 4 (pid: 18, try: 1)

2022-11-26 07:54:11 Sat Nov 26 07:54:10 2022 - HARAKIRI !!! worker 4 status !!!

2022-11-26 07:54:11 Sat Nov 26 07:54:10 2022 - HARAKIRI [core 0] 10.0.0.75 - POST / since 1669448649

2022-11-26 07:54:11 Sat Nov 26 07:54:10 2022 - HARAKIRI !!! end of worker 4 status !!!

2022-11-26 07:54:11 DAMN ! worker 4 (pid: 18) died, killed by signal 9 :( trying respawn ...

2022-11-26 07:54:11 Respawned uWSGI worker 4 (new pid: 33)

2022-11-26 07:54:11 spawned 2 offload threads for uWSGI worker 4

2022-11-26 08:03:28 Sat Nov 26 08:03:27 2022 - HARAKIRI ON WORKER 3 (pid: 15, try: 1)

2022-11-26 08:03:28 Sat Nov 26 08:03:27 2022 - HARAKIRI !!! worker 3 status !!!

2022-11-26 08:03:28 Sat Nov 26 08:03:27 2022 - HARAKIRI [core 0] 10.0.0.75 - POST / since 1669449206

2022-11-26 08:03:28 Sat Nov 26 08:03:27 2022 - HARAKIRI !!! end of worker 3 status !!!

2022-11-26 08:03:28 DAMN ! worker 3 (pid: 15) died, killed by signal 9 :( trying respawn ...

2022-11-26 08:03:28 Respawned uWSGI worker 3 (new pid: 36)

2022-11-26 08:03:28 spawned 2 offload threads for uWSGI worker 3

我尝试在 pythonanywhere 的控制台中运行这段代码，它运行得很好。 我卡住了！

Answer 1

我使用始终在线的任务通过 model 运行查询并将它们吐回主脚本。

像梦一样工作！