在 pytorch 中加速训练深度学习 model

Question

我正在使用 Pytorch 框架进行训练深度学习 model。 我添加了torch.no_grad来加快训练阶段

model.train()
for epoch in range(epochs):
  for data, label in loader:
     data, label = data.to(device), label.to(device)
     with torch.no_grad():
       out = model(data)
     out.requires_grad = True
     #model.zero_grad(), loss(), loss.backward, optim.step

速度有所提高，但梯度更新有问题，model 不能正确收敛。 有人可以向我解释为什么它不起作用吗？

Answer 1

简单地说，当使用torch.no_grad上下文管理器时，不计算梯度，因此 model 无法接收任何更新。

torch.no_grad旨在用于其他情况，例如在评估 model 时。 从文档

当您确定不会调用Tensor.backward()时，禁用梯度计算对推理很有用