生产中的TensorFlow用于高流量应用中的实时预测 - 如何使用？

Question

在高流量应用中使用TensorFlow进行实时预测的正确方法是什么。

理想情况下，我将有一个服务器/集群运行tensorflow监听端口，我可以从应用服务器连接，并获得类似于数据库使用方式的预测。 培训应该由cron作业通过网络将培训数据提供给同一服务器/集群来完成。

如何在生产中实际使用张量流？ 我应该构建一个python作为服务器运行的设置并使用python脚本来获取预测吗？ 我还是新手，但我觉得这样的脚本需要打开会话等......这是不可扩展的。 （我说的是每秒100次预测/秒）。

任何指向相关信息的指针都将受到高度赞赏。 我找不到任何东西。

Answer 1

今天早上，我们的同事在GitHub上发布了TensorFlow服务 ，它解决了你提到的一些用例。 它是TensorFlow的分布式包装器，旨在支持多个模型的高性能服务。 它支持来自应用服务器的批量处理和交互式请求。

有关更多信息，请参阅基础和高级教程。