改善機器學習休息服務的性能

Question

我在Tomcat 7上運行了一個REST服務，它正在執行以下操作：

1. 語言檢測
2. 斯坦福·納爾
3. 斯坦福大學情緒分析
4. 情緒分類
5. 分類
6. 摘要
7. 主題

您可以猜測，單個請求中發生了很多事情。 我想提高其余服務的性能，Stanford NER和Stanford的看法是占用過多的CPU並在tomcat上具有15 GB RAM的6核計算機上，我獲得了10％線程和125吞吐量的80％cpu利用率我已經用JMeter測試過了。 瓶頸是斯坦福大學，每筆交易需要90％的時間。 我無法在現實世界中擴展它。 這太慢了。 有什么想法可以擴展我的ML服務嗎？

Answer 1

您是否嘗試過使用Shift-Reduce解析器 ？ 選區解析器（由情感模型提取）可能花費了很多時間，這是整個句子長度的O(n^3)算法。 移位減少解析器占用的內存更大，但是為O(n) 。 否則，我們可能需要更多細粒度的分析數據來提供幫助。

Answer 2

真正的罪魁禍首是Deeplearning4j。 它占用了大部分CPU。