如何在没有 GPU 的情况下提供深度学习 model

Question

由于节省成本，我使用常规 CPU 运行深度学习 model。 完成一个请求需要 10 秒，它是用 python 编写的。

我正在考虑通过使用 java、C++ 或 rust 来提高性能。 是否有任何现有的 rust 框架来选择深度学习 model。

Answer 1

是否有任何现有的 rust 框架来选择深度学习 model。

虽然我不熟悉 rust 框架。 如果您在英特尔 cpu 上运行 model，我建议使用 ONNX 导出 model 并使用带有英特尔 MKLDNN 后端的 mxnet 运行它。 由于它使用英特尔 MKLDNN 和英特尔 MKL 库，因此应该会为您提供最佳性能。 您可以使用 C++/Python。

使用 MKLDNN 安装 mxnet

https://mxnet.apache.org/versions/1.6/api/python/docs/tutorials/performance/backend/mkldnn/mkldnn_readme.ZFC35FDC70D228C75A

Answer 2

Tensorflow 的性能关键部分写在 C++ 中。 使用其他语言不会导致巨大的性能差异。 您可以量化您的网络或进行网络修剪以提高性能。