如何计算自动微分的计算复杂度？

Question

我正在使用 Pytorch 中实现的自动网格来训练神经网络，我需要计算整个算法的计算复杂度。 我在哪里可以找到 autograd 计算复杂度的完整计算？ 我在 Pytorch 文档中搜索过，但没有找到任何答案。 谢谢

Answer 1

试试这个https://github.com/Lyken17/pytorch-OpCounter 。 它计算 nn 的 mac（类似于复杂性）。 您可以在集线器上看到一些指南，使用配置文件来测量 pytorch 中模型的 FLOP。

Answer 2

在这种情况下，这取决于您如何计算复杂度。 每个forward操作都与它各自的backward操作配对（相对于网络的最后一个节点返回导数，通常是成本函数）。

如果将每个操作视为一个单元，则向前和向后将是两个单元，本质上不会改变任何复杂性，否则它将取决于神经网络的类型及其内部的操作。