如何在 Jetson TX1 上使用 Nvidia 的 Tensor RT 運行預訓練的 tensorflow 模型？

Question

在 Nvidia 的博客中，他們介紹了他們的 TensorRT 如下：

NVIDIA TensorRT™ 是一種高性能神經網絡推理引擎，用於深度學習應用程序的生產部署。 TensorRT 可用於快速優化、驗證和部署訓練有素的神經網絡，以便對超大規模數據中心、嵌入式或汽車產品平台進行推理。

所以我想知道，如果我有一個預訓練的 Tensorflow 模型，我可以在 Jetson TX1 的 TensorRT 中使用它進行推理嗎？

Answer 1

更新(2020.01.03)：現在 TensorRT 已支持 TensorFlow 1.X 和 2.0（在Trt V6 和 7上測試：請參閱本教程： https ://docs.nvidia.com/deeplearning/frameworks/tf-trt- 用戶指南/index.html ）。

根據 Nvidia 論壇上的這篇帖子，您現在似乎可以使用 TensorRT 與 caffemodel 進行推理，但不能使用 tensorflow 模型。 除了 tensorRT，在 tx1 上構建 tensorflow 是另一個問題（請參閱此處： https : //github.com/ugv-tracking/cfnet ）。

Answer 2

從 JetPack 3.1 開始，NVIDIA 還為 Tensorflow 添加了 TensorRT 支持。 所以，訓練好的TF模型可以直接部署在Jetson TX1/TK1/TX2