如果我使用簡單的減號而不是 -=，pytorch 將 grad 屬性設置為無

Question

這是一個顯示問題的簡單代碼

import torch
X = torch.arange(-3, 3, step=0.1)
Y = X * 3
Y += 0.1 * torch.randn(Y.shape)

def my_train_model(iter):
    w = torch.tensor(-15.0, requires_grad=True)
    lr = 0.1
    for epoch in range(iter):
        print(w.grad)
        yhat = w * X
        loss = torch.mean((yhat - Y) ** 2)
        loss.backward()

        with torch.no_grad():
            print(w.grad)
            w = w - lr * w.grad # gradient exists if w-= lr*w.grad
            print(w.grad)
            w.grad.zero_()
        print(loss)

my_train_model(4)

這在執行w = w - lr * w.grad w.grad 設置為none ，但是如果我使用w -= lr * w.grad而不是上面的表達式，問題將得到解決！

第一個將w.grad設置為none的表達式有什么問題？

Answer 1

function torch.no_grad()保證不計算梯度，這意味着包含在其中的任何組件都是使用requires_grad=False創建的，如您在此示例中所見。

就地操作僅更改張量的值， 來自論壇的這個答案：

就地操作是直接更改給定張量的內容而不進行復制的操作。

因此，對於您提出的問題， w = w - lr * w.grad將w替換為沒有梯度的自身副本，而w -= lr * w.grad僅更改仍保持梯度的張量的內容來自torch.no_grad()之外的操作。