在 pytorch 中加速訓練深度學習 model

Question

我正在使用 Pytorch 框架進行訓練深度學習 model。 我添加了torch.no_grad來加快訓練階段

model.train()
for epoch in range(epochs):
  for data, label in loader:
     data, label = data.to(device), label.to(device)
     with torch.no_grad():
       out = model(data)
     out.requires_grad = True
     #model.zero_grad(), loss(), loss.backward, optim.step

速度有所提高，但梯度更新有問題，model 不能正確收斂。 有人可以向我解釋為什么它不起作用嗎？

Answer 1

簡單地說，當使用torch.no_grad上下文管理器時，不計算梯度，因此 model 無法接收任何更新。

torch.no_grad旨在用於其他情況，例如在評估 model 時。 從文檔

當您確定不會調用Tensor.backward()時，禁用梯度計算對推理很有用