Pytorch SGD 和梯度

Question

我試着弄清楚 pytorch SGD 是如何工作的。

但是我不明白為什么我會得到這個結果。

這是代碼。

model = torchvision.models.resnet18(weights = None)

output = model(torch.rand([100,3,64,64]))
target = torch.ones([100,1000])

loss_fn = torch.nn.CrossEntropyLoss()
loss = loss_fn(output,target) / 1000

opt = torch.optim.Adam(model.parameters(), lr=2)

for i in model.parameters():
    print(i[0,0,0,0])
    break

# update
opt.zero_grad()
loss.backward()
opt.step()

for i in model.parameters():
    print(i.grad[0,0,0,0])
    break
for i in model.parameters():
    print(i[0,0,0,0])
    break

和 output 是

tensor(0.0358, grad_fn=<SelectBackward0>)
tensor(-0.0011)
tensor(2.0357, grad_fn=<SelectBackward0>)

似乎參數被更新而不受梯度的影響。
這意味着只受lr影響

我當然認為我錯了。

感謝您讓我知道錯誤在哪里！