運行多個 libpostal 實例

Question

我已經測試 libpostal 幾天了，我有以下用例：

我同時運行 10 個 libpostal 腳本來分析各種文檔，幾秒鍾后，其中大多數我收到以下錯誤：

ERR Averaged perceptron model could not be loaded at address_parser_load (address_parser.c:205) errno: Cannot allocate memory

我對如何解決這個問題有一個模糊的想法，例如，如果我可以告訴所有腳本實例共享一個已加載的模型，而無需為每個實例創建一個單獨的模型。 作為進一步的信息，我正在使用 pypostal。

我可以看到這是因為我同時運行了太多的 libpostal 腳本，我的問題是，是否有人遇到過類似的情況，如果有，他們的解決方案是什么。

Answer 1

很抱歉提出這樣一個老問題，但最近當我嘗試將 libpostal 與 Flask + Gunicorn 一起使用時，我遇到了類似的問題。 使用多個 worker 時，libpostal 無法加載模型。

通過使用--preload標志預加載應用程序解決了該問題：

gunicorn --workers=3 --preload main:APP