重量衰减值增加，表现最差

Question

我正在研究二进制分类。 我创建了如下网络：Conv1，Relu1，Pool1-Conv2，Relu2，Pool2-Conv3，Relu3，Pool3-Conv4，Relu4-Conv5 Relu5 Dropot 0.5，FC，Dropout 0.5-SoftmaxlossLayer

所有转换层为3x3。

默认的“权重衰减”为0.0005。 我得到这个结果。 训练精度：98％测试精度：88％

然后将同一网络与Weightdecay 0.005一起使用

有人，请帮助我分享为什么通过更改重量衰减值来显示类似的结果？

Answer 1

权重衰减会降低模型的复杂性，因此它可用于控制模型的偏差以防止偏差。 显然，如果对复杂性的惩罚过多，该模型将不会学到任何有用的东西，因为它太简单了。

对于其他规范化神经网络的方法，您可以参阅Hinton Coursera课程的注释 。