Tensorflow，tf.gradients计算

Question

我正在学习如何使用Tensorflow，在这一点上，我真的很困惑并且无法理解它。 想象我有一个5层网络，输出由output表示。 现在假设我想找到相对于layer_2的output渐变。 为此，我将在Tensorflow中编写的代码将类似于：

gradients_i_want = tf.gradients(output, layer_2)

从理论上讲，该梯度应通过链式法则计算。 我想问的是，Tensorflow是否通过链式规则计算这些梯度，还是只取相对于layer_2的output导数

Answer 1

Tensorflow将为您的模型创建一个图形，其中每个节点都是一个操作（例如，加法，乘法或它们的组合）。 基本操作具有手动定义的渐变函数，并且在向后浏览图形时应用链式规则时将使用这些函数。

如果您编写自己的自定义操作，则可能还需要编写相应的渐变函数。