Nvidia Jetson 上的 Tensorflow Lite

Question

有沒有人在任何 Nvidia Jetson 產品上使用過 Tensorflow Lite？ 我想使用我的 Jetson Nano 進行推理，並希望使用 GPU 的 tf-lite 進行推理。

令人困惑的是，似乎沒有用於在 tf-lite 中創建 GPU 委托的 Python API 。

這有明確的原因嗎？

是否可以使用完整的 Tensorflow 庫（我不想使用 Nvidia TensorRT 引擎）？

Answer 1

是的，我之前曾嘗試在 Jetson Nano 上使用 tf lite。

你可以參考我之前在Medium上的文章（PS：很抱歉這篇文章是用中文寫的。）

這篇文章是關於如何在Jetson Nano上設置TF Lite環境

注意：

您應該根據自己的環境更改以下命令。

pip3 install https://dl.google.com/coral/python/tflite_runtime-2.1.0.post1-cp36-cp36m-linux_aarch64.whl

在 Jetson Nano 上設置 TF lite

Answer 2

如果您對使用 C++ 進行推理感興趣，您可以像在 Xavier NX 上一樣在 Jetson 設備上編譯 TFlite 2.4.1：

$ sudo apt-get install cmake curl
$ wget -O tensorflow.zip https://github.com/tensorflow/tensorflow/archive/v2.4.1.zip
$ unzip tensorflow.zip
$ mv tensorflow-2.4.1 tensorflow
$ cd tensorflow
$ ./tensorflow/lite/tools/make/download_dependencies.sh
$ ./tensorflow/lite/tools/make/build_aarch64_lib.sh

之后，您還必須像這樣安裝 TF lite 平面緩沖區：

$ cd ./tensorflow/tensorflow/lite/tools/make/downloads/flatbuffers
$ mkdir build && cd build
$ cmake ..
$ make -j
$ sudo make install
$ sudo ldconfig

之后，您可以在此處找到庫tensorflow/tensorflow/lite/tools/make/gen/linux_aarch64/libtensorflow-lite.a

您可以像這樣構建推理應用程序

gcc -llibtensorflow-lite.a -ledgetpu main.cpp

您還需要安裝 libedgetpu.so，如 Coral.ai 所示

最好的亞歷山大