如何在 Jetson TX1 上使用 Nvidia 的 Tensor RT 运行预训练的 tensorflow 模型？

Question

在 Nvidia 的博客中，他们介绍了他们的 TensorRT 如下：

NVIDIA TensorRT™ 是一种高性能神经网络推理引擎，用于深度学习应用程序的生产部署。 TensorRT 可用于快速优化、验证和部署训练有素的神经网络，以便对超大规模数据中心、嵌入式或汽车产品平台进行推理。

所以我想知道，如果我有一个预训练的 Tensorflow 模型，我可以在 Jetson TX1 的 TensorRT 中使用它进行推理吗？

Answer 1

更新(2020.01.03)：现在 TensorRT 已支持 TensorFlow 1.X 和 2.0（在Trt V6 和 7上测试：请参阅本教程： https ://docs.nvidia.com/deeplearning/frameworks/tf-trt- 用户指南/index.html ）。

根据 Nvidia 论坛上的这篇帖子，您现在似乎可以使用 TensorRT 与 caffemodel 进行推理，但不能使用 tensorflow 模型。 除了 tensorRT，在 tx1 上构建 tensorflow 是另一个问题（请参阅此处： https : //github.com/ugv-tracking/cfnet ）。

Answer 2

从 JetPack 3.1 开始，NVIDIA 还为 Tensorflow 添加了 TensorRT 支持。 所以，训练好的TF模型可以直接部署在Jetson TX1/TK1/TX2