Tensorflow，tf.gradients計算

Question

我正在學習如何使用Tensorflow，在這一點上，我真的很困惑並且無法理解它。 想象我有一個5層網絡，輸出由output表示。 現在假設我想找到相對於layer_2的output漸變。 為此，我將在Tensorflow中編寫的代碼將類似於：

gradients_i_want = tf.gradients(output, layer_2)

從理論上講，該梯度應通過鏈式法則計算。 我想問的是，Tensorflow是否通過鏈式規則計算這些梯度，還是只取相對於layer_2的output導數

Answer 1

Tensorflow將為您的模型創建一個圖形，其中每個節點都是一個操作（例如，加法，乘法或它們的組合）。 基本操作具有手動定義的漸變函數，並且在向后瀏覽圖形時應用鏈式規則時將使用這些函數。

如果您編寫自己的自定義操作，則可能還需要編寫相應的漸變函數。