TF Lite 优化

Question

我尝试使用 ONNX 将我的 Pytorch 模型转换为 TensorFlow Lite。 但是我从 TensorFlow Lite 的推理时间是 Tensorflow 和 Pytorch 的两倍。 我在google colab中运行 TensorFlow Lite model，这是我第一次使用 TensorFlow Lite。

这是我从 Tensorflow 转换为 TensorFlow Lite 的代码：

converter = tf.lite.TFLiteConverter.from_saved_model("model/")
converter.optimizations = [tf.lite.Optimize.DEFAULT]
converter.target_spec.supported_types = [tf.float16]
model_lite = converter.convert()

with open('model.tflite', 'wb') as f:
    f.write(model_lite)

任何建议都会对我有很大帮助。

Answer 1

TensorFlow Lite 模型应该在嵌入式设备上快速运行。 所以你必须在安卓手机中使用它来找出时间。 Colab notebook 不会给你正确的时间。

您还可以使用基准工具来测量稳态的推理时间。

Answer 2

如果您想在 PC 或 Google Colab 上运行推理，我建议您使用OpenVINO 。 OpenVINO 针对 Intel 硬件进行了优化，但它应该适用于任何 CPU。 它通过例如图形修剪和融合某些操作来优化推理性能。 以下是 PyTorch 型号等的性能基准。

您可以在此处找到有关如何转换 PyTorch model 的完整教程。 下面的一些片段。

安装 OpenVINO

最简单的方法是使用 PIP。 或者，您可以使用此工具找到适合您情况的最佳方法。

pip install openvino-dev[pytorch,onnx]

将您的 model 保存到 ONNX

OpenVINO 目前无法直接转换 PyTorch model，但可以使用 ONNX model 进行转换。 此示例代码假定 model 用于计算机视觉。

dummy_input = torch.randn(1, 3, IMAGE_HEIGHT, IMAGE_WIDTH)
torch.onnx.export(model, dummy_input, "model.onnx", opset_version=11)

使用 Model 优化器转换 ONNX model

Model Optimizer 是来自 OpenVINO Development Package 的命令行工具，因此请确保您已安装它。 它将 ONNX model 转换为 OV 格式（又名 IR），这是 OpenVINO 的默认格式。 它还将精度更改为 FP16（以进一步提高性能）。 在命令行中运行：

mo --input_model "model.onnx" --input_shape "[1, 3, 224, 224]" --mean_values="[123.675, 116.28 , 103.53]" --scale_values="[58.395, 57.12 , 57.375]" --data_type FP16 --output_dir "model_ir"

在 CPU 上运行推理

转换后的 model 可以由运行时加载并针对特定设备进行编译，例如 CPU 或 GPU（集成到您的 CPU 中，如 Intel HD Graphics）。 如果您不知道什么是最适合您的选择，请使用 AUTO。

# Load the network
ie = Core()
model_ir = ie.read_model(model="model_ir/model.xml")
compiled_model_ir = ie.compile_model(model=model_ir, device_name="CPU")

# Get output layer
output_layer_ir = compiled_model_ir.output(0)

# Run inference on the input image
result = compiled_model_ir([input_image])[output_layer_ir]

值得一提的是，Runtime 可以直接处理 ONNX model。 在这种情况下，只需跳过转换（模型优化器）步骤并将 onnx 路径提供给read_model function。

免责声明：我在 OpenVINO 上工作。