Pytorch SGD 和梯度

Question

我试着弄清楚 pytorch SGD 是如何工作的。

但是我不明白为什么我会得到这个结果。

这是代码。

model = torchvision.models.resnet18(weights = None)

output = model(torch.rand([100,3,64,64]))
target = torch.ones([100,1000])

loss_fn = torch.nn.CrossEntropyLoss()
loss = loss_fn(output,target) / 1000

opt = torch.optim.Adam(model.parameters(), lr=2)

for i in model.parameters():
    print(i[0,0,0,0])
    break

# update
opt.zero_grad()
loss.backward()
opt.step()

for i in model.parameters():
    print(i.grad[0,0,0,0])
    break
for i in model.parameters():
    print(i[0,0,0,0])
    break

和 output 是

tensor(0.0358, grad_fn=<SelectBackward0>)
tensor(-0.0011)
tensor(2.0357, grad_fn=<SelectBackward0>)

似乎参数被更新而不受梯度的影响。
这意味着只受lr影响

我当然认为我错了。

感谢您让我知道错误在哪里！