建議使用什么方法來傳輸機器學習模型？

Question

我目前正在研究機器學習問題，並在開發環境中創建了一個模型，該模型中的數據集低到幾十萬。 我如何將模型傳輸到生產環境，在生產環境中數據集非常龐大（數十億個）。

有沒有推薦的通用方法來傳輸機器學習模型？

Answer 1

取決於您使用的開發平台。 我知道DL4J使用Hadoop超參數服務器。 我使用C ++編寫ML編，並使用自己生成的數據，TensorFlow和其他人使用通過Python壓縮和解壓縮的數據。 對於實時數據，我建議使用Boost庫之一，因為我發現它可以用於處理大量RT數據，例如使用OpenCV進行圖像處理。 但我想必須有一組等效的庫適合您的數據。 CSV數據易於使用C ++或Python處理。 實時（Boost），圖像（OpenCV），csv（Python），也可以編寫一個程序，使用Bash（Tricky）將數據通過管道傳輸到程序中。 您可以讓它以某種方式緩沖數據，然后按常規將數據提供給ML程序，然后檢索數據並將其存儲在Mysql數據庫中。 聽起來您需要數據服務器或數據管理程序，因此ML算法僅能處理其數據塊。 希望能有所幫助。