如何在 Pytorch 中“手动”应用渐变？

Question

tensorflow 中的 Pytorch 中的等价物是什么，其中loss是 .network 迭代中计算的损失，而net是神经网络。

with tf.GradientTape() as tape:              
    grads = tape.gradient(loss, net.trainable_variables)
    optimizer.apply_gradients(zip(grads, net.trainable_variables))

因此，我们根据损失 function 计算 our.network 中所有可训练变量的梯度。在下一行中，我们通过优化器应用梯度。 在我的用例中，这是执行此操作的方法，并且效果很好。

现在，我将如何在 Pytorch 中做同样的事情？ 我知道“标准”方式：

optimizer.zero_grad()
loss.backward()
optimizer.step()

然而，这不适用于我。 那么如何“手动”应用渐变。 不幸的是，谷歌没有帮助，尽管我认为这可能是一个相当简单的问题。

希望各位大神赐教！

谢谢！

Answer 1

让我们打破标准的 PyTorch 更新方式； 希望这会澄清你想要什么。

在 Pytorch 中，每个 NN 参数都有一个.data和.grad属性。 .data是……实际的权重张量，而.grad是将保存梯度的属性。 如果尚未计算梯度，则为None 。 有了这些知识，让我们了解更新步骤。

首先，我们执行optimizer.zero_grad() 。 这.grad属性清零或清空。 如果您从未计算过梯度， .grad可能已经是None了。

接下来，我们做loss.backward() 。 这是将计算和更新每个参数的.grad属性的反向传播步骤。

一旦我们有了梯度，我们想用一些规则（SGD、ADAM 等）更新权重，然后我们执行optimizer.step() 。 这将遍历所有参数并使用 compute .grad属性正确更新权重。

因此，现在要手动应用渐变，您可以将optimizer.step()替换为for循环，如下所示：

for param in model.parameters():
    param.data = custom_rule(param.data, param.grad, learning_rate, **any_other_arguments)

这应该可以解决问题。