[英]Pytorch: saving model or state_dict gives different on-disk space occupation
我正在使用torch.save
函数,发现有些奇怪的东西,比如说我从torchvision
存储库中加载了一个模型:
model = torchvision.models.mobilenet_v2()
如果我以这种方式保存模型:
torch.save(model,'model.pth')
我得到一个14MB的文件,而如果这样做的话:
torch.save(model.state_dict(),'state_dict.pth')
文件大小达到500MB。 由于我没有找到有关此行为的任何参考,因此我想知道是什么导致大小增加。 与压缩有关吗? 保存整个state_dict
存储未初始化的渐变之类的额外内容?
PS对于类似vgg16
其他模型vgg16
嘿,自pytorch 1.1.0a0+863818e
版本以来,由于错误,我删除了最后一个答案,使用:
torch.save(model,'model.pth')
并使用:
torch.save(model.state_dict(),'state_dict.pth')
两者的尺寸结果相同,您使用的是正确加载蚊帐吗? 证明:
-rw-rw-r-- 1 bpinaya bpinaya 14M Aug 8 10:26 model.pth
-rw-rw-r-- 1 bpinaya bpinaya 14M Aug 8 10:27 state_dict.pth
-rw-rw-r-- 1 bpinaya bpinaya 528M Aug 8 10:29 vgg.pth
-rw-rw-r-- 1 bpinaya bpinaya 528M Aug 8 10:29 vggstate_dict.pth
如果询问模型是什么:
vars(vgg16)
出:
{'_backend': <torch.nn.backends.thnn.THNNFunctionBackend at 0x232c78759b0>,
'_parameters': OrderedDict(),
'_buffers': OrderedDict(),
'_backward_hooks': OrderedDict(),
'_forward_hooks': OrderedDict(),
'_forward_pre_hooks': OrderedDict(),
'_state_dict_hooks': OrderedDict(),
'_load_state_dict_pre_hooks': OrderedDict(),
'_modules': OrderedDict([('features', Sequential(
(0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(1): ReLU(inplace)
(2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(3): ReLU(inplace)
(4): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(5): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(6): ReLU(inplace)
(7): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(8): ReLU(inplace)
(9): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(10): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(11): ReLU(inplace)
(12): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(13): ReLU(inplace)
(14): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(15): ReLU(inplace)
(16): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(17): Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(18): ReLU(inplace)
(19): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(20): ReLU(inplace)
(21): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(22): ReLU(inplace)
(23): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
(24): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(25): ReLU(inplace)
(26): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(27): ReLU(inplace)
(28): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
(29): ReLU(inplace)
(30): MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)
)),
('avgpool', AdaptiveAvgPool2d(output_size=(7, 7))),
('classifier', Sequential(
(0): Linear(in_features=25088, out_features=4096, bias=True)
(1): ReLU(inplace)
(2): Dropout(p=0.5)
(3): Linear(in_features=4096, out_features=4096, bias=True)
(4): ReLU(inplace)
(5): Dropout(p=0.5)
(6): Linear(in_features=4096, out_features=1000, bias=True)
))]),
'training': True}
您将得到的不仅仅是状态字典。
vgg16.state_dict()
状态dict在_modules
内部( vgg16._modules['features'].state_dict()
)
这就是为什么当您保存模型时,不仅保存状态字典,而且还保存所有上述内容,例如参数,缓冲区,钩子...
但是,如果您不使用参数,缓冲区,挂钩来推断模型的时间,则可以避免保存这些参数。
保存时的大小:
torch.save(model,'model.pth')
torch.save(model.state_dict(),'state_dict.pth')
应该是: model.pth > state_dict.pth
因为状态dict包含在模型中。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.