如何在 PyTorch 中提取線性層的權重和偏差？

Question

在model.state_dict() model.parameters()和model.named_parameters()的重量和的偏差nn.Linear()模塊分開容納，當量fc1.weight和fc1.bias 。 有沒有一種簡單的pythonic方法來獲得它們？

預期示例與此類似：

layer = model['fc1']
print(layer.weight)
print(layer.bias)

Answer 1

從完整模型來看，沒有。 沒有。 但是您可以獲得該特定Module的state_dict() ，然后您將擁有一個帶有weight和bias dict ：

import torch

m = torch.nn.Linear(3, 5)  # arbitrary values
l = m.state_dict()

print(l['weight'])
print(l['bias'])

您的代碼中的等效項是：

layer = model.fc1.state_dict()
print(layer['weight'])
print(layer['bias'])

Answer 2

從圖層中提取值。

layer = model['fc1']
print(layer.weight.data[0])
print(layer.bias.data[0])

您可以使用要提取的神經元值而不是 0 索引。

>> nn.Linear(2,3).weight.data
tensor([[-0.4304,  0.4926],
        [ 0.0541,  0.2832],
        [-0.4530, -0.3752]])

Answer 3

您可以為模型中的每個線性層恢復命名參數，如下所示：

from torch import nn

for layer in model.children():
    if isinstance(layer, nn.Linear):
        print(layer.state_dict()['weight'])
        print(layer.state_dict()['bias'])