從經過訓練的神經網絡創建實時運行 model 的最佳實踐

Question

我計划創建一個用於交易的神經網絡，我正在研究如何在我的系統運行時使用的語言（即 C++ 或 C#）中使用經過訓練的神經網絡。

假設我在 python（或任何其他 nn 框架）中使用 tensorflow，我已經成功訓練了具有 n 個隱藏層的神經網絡。 那時我有權重和偏差的值。 此時我想在生產中使用 nn model。

據我了解，在生產 tensorflow 中運行 model 並不是最佳實踐，因為它實際上太慢（python）而且很笨重（如果我錯了，請糾正我）。

所以我想在 C# 或 C++ （或任何其他語言）中重新創建 nn model ，我是否需要在代碼中重新創建每個神經元數學的所有基於權重和偏差的每一層？

問題：

• 我從來沒有做過，所以這是我在猜測工作流程/最佳實踐，最好的方法是什么？
• 我可以閱讀哪些有關此主題的在線文章/網站？
• 這個題目叫什么，好讓我去找？

Answer 1

像 tensorflow 這樣的框架也應該在生產中使用。 Tensorflow 是用高度優化的 C++ 和/或 Cuda 編寫的，因此很容易勝過您自己編寫的任何內容。 tensorflow 還附帶了大量用於監控、負載平衡等的內置工具。

如果你在你的機器上運行你的系統，你可以使用任何語言作為包裝器。 If you really think you need a level of optimization for small tasks such as preprocessing etc. that can not be done in Python, just use the C++ API for tensorflow. 只需讓 tensorflow（或 torch 或您正在使用的任何生產 lvl 框架）完成處理神經網絡的繁重工作。 對於 99.99% 的任務，Python（使用 numpy、tf、dask 等）就可以了。

對於大型應用程序，您可以在 aws/azure/google 雲等上托管 model。它們為托管 tensorflow 模型（例如，作為 REST 端點）提供優化服務。 Lambda 函數/Azure Functions 可以成為以經濟高效且可擴展的方式執行預處理步驟的絕佳工具。