張量流量化

Question

我想使用Tensorflow的transform_graph工具優化圖形。 我嘗試從MultiNet （以及其他具有類似編碼器-解碼器體系結構的圖）中優化圖形。 但是，使用quantize_weights時，優化后的圖實際上要慢一些，而使用quantize_nodes時，甚至要慢得多。 根據Tensorflow的文檔，量化時可能沒有改進，甚至可能更慢。 知道以下圖表/軟件/硬件是否正常？

這是我的系統信息，供您參考：

• 操作系統平台和發行版：Linux Ubuntu 16.04
• TensorFlow的安裝方式：使用TF源代碼（CPU）進行圖形轉換，使用Binary-python（GPU）進行推斷
• TensorFlow版本：兩者都使用r1.3
• Python版本：2.7
• Bazel版本：0.6.1
• CUDA / cuDNN版本：8.0 / 6.0（僅推理）
• GPU型號和內存：GeForce GTX 1080 Ti

如果需要，我可以發布所有用於復制的腳本。

Answer 1

Tensorflow中的量化似乎僅發生在CPU上。 參見： https : //github.com/tensorflow/tensorflow/issues/2807

Answer 2

我在PC環境中遇到了同樣的問題。 我的模型比不量化慢9倍。

但是，當我將量化模型移植到android應用程序中時，可以加快速度。

似乎當前僅適用於CPU，並且僅適用於ARM基本CPU（例如android手機）。