生產中的TensorFlow用於高流量應用中的實時預測 - 如何使用？

Question

在高流量應用中使用TensorFlow進行實時預測的正確方法是什么。

理想情況下，我將有一個服務器/集群運行tensorflow監聽端口，我可以從應用服務器連接，並獲得類似於數據庫使用方式的預測。 培訓應該由cron作業通過網絡將培訓數據提供給同一服務器/集群來完成。

如何在生產中實際使用張量流？ 我應該構建一個python作為服務器運行的設置並使用python腳本來獲取預測嗎？ 我還是新手，但我覺得這樣的腳本需要打開會話等......這是不可擴展的。 （我說的是每秒100次預測/秒）。

任何指向相關信息的指針都將受到高度贊賞。 我找不到任何東西。

Answer 1

今天早上，我們的同事在GitHub上發布了TensorFlow服務 ，它解決了你提到的一些用例。 它是TensorFlow的分布式包裝器，旨在支持多個模型的高性能服務。 它支持來自應用服務器的批量處理和交互式請求。

有關更多信息，請參閱基礎和高級教程。