如何优化训练有素的Tensorflow图表以实现加速？

Question

为了对冻结的Tensorflow图（.pb）进行快速CPU推断，我目前正在使用Tensorflow的C API。 推理速度已经相当不错了（与英特尔的OpenVINO等CPU专用工具相比）我到目前为止还没有办法在运行之前以某种方式优化图形。 我感兴趣的是任何适合的优化： - 针对CPU的特定于设备的优化 - 特定于图形的优化（融合操作，丢弃节点，......） - ......以及其他所有减少推理所需时间的优化。

因此，我正在寻找一种在训练之后和执行之前优化图形的方法。 如前所述，英特尔的OpenVINO（用于CPU）和NVIDIA的TensorRT（用于GPU）之类的工具就是这样的。 我也在与OpenVINO合作，但目前正在等待修复错误，以便我想尝试其他方式。

我想过尝试Tensorflow XLA，但我没有使用它的经验。 此外，我必须确保获得一个冻结图（.pb）或者我最终可以转换为冻结图（例如.h5）的东西。

我很感激你的建议！

电贺