[英]When is it appropriate to use zero_grad()?
我有 2 个神经网络鉴别器和生成器。所以当我做 lossgenerator.backward() 时，梯度也是在鉴别器的张量上计算的，因为鉴别器的张量被馈送到生成器，反之亦然。 现在我的问题是，如果我这样做——
lossDiscriminator.backward(retain_graph=True)
lossgenerator.backward()
判别器的张量梯度会被计算两次吗？ 或者我应该在调用 lossgenerator.backward() 之前执行 Discriminator.zero_grad() 和 Generator.zero_grad()？
`.zero_grad()` 和 `.zero_grad` 有什么区别？
[英]What is the difference between `.zero_grad()` and `.zero_grad`?
我应该在 PyTorch 中使用梯度跟踪还是不使用梯度跟踪？
[英]Shall I use grad.zero_() in PyTorch with or without gradient tracking?
是否有必要使用 torch.no_grad() 进行特征提取？
[英]Is it necessary to use with torch.no_grad() for feature extraction?
如果我使用简单的减号而不是 -=，pytorch 将 grad 属性设置为无
[英]pytorch sets grad attribute to none if I use simple minus instead of -=
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.