从 Pytorch 中的 Resnet model 中删除 RELU 激活

Question

如何从 pytorch 中的 Resnet model 中删除所有 RELU 激活层，并在可能的情况下将其替换为线性激活层？

Answer 1

model = models.resnet50()

names = []
for name, module in model.named_modules():
    if hasattr(module, 'relu'):
        module.relu = nn.Sigmoid() // or nn.Identity() accordingly

print(model)

这适用于替换激活或使其标识