Tensorflow 2.X 中 TFLite Model 的测量触发器

Question

我正在尝试测量 TF2 中 TFLite model 的 FLOPS。 我知道 Tensorflow 1.x 有 tf.profiler，它非常适合测量翻牌。 它似乎不适用于 tf.keras。

有人可以描述如何在 TF2 中测量 TFLite model 的 FLOPs 吗？ 我似乎无法在网上找到答案。 非常感谢大家的时间。

编辑：下面评论的链接对 tflite 没有帮助。

Answer 1

不幸的是，没有直接的方法可以计算 tflite model 的 FLOPS。 但是，您可以通过以下 3 个步骤间接估计其价值：

1. 使用官方TFLite 性能工具来测量您的 model 执行单次推理需要多长时间（以毫秒为单位）。
2. 使用一些基准应用程序（例如xOPS ）来估计您的目标设备每秒可以运行多少次浮点运算 (FLOPS)。
3. 使用从步骤 1 和 2 中获得的结果来估计 model 在单次推理期间执行的浮点运算的数量。

最终结果可能是一个粗略的近似值，但它仍然可以为您的性能分析带来一些价值。

Answer 2

我遇到了同样的问题，写了一个简单的 python package 来粗略计算 FLOPS。

https://github.com/lisosia/tflite-flops

只考虑了 Conv 和 DepthwiseConv 层，但这对我的用例来说已经足够了。