Keras L2正则化使网络不学习

Question

我正在尝试为 MNIST 数据集训练一个简单的 model。 一个由 36 个神经元组成的隐藏层。

NUM_CLASSES = 10
BATCH_SIZE = 128
EPOCHS = 100

model = models.Sequential([
    layers.Input(shape = x_train.shape[1:]),

    layers.Dense(units = 36, activation = activations.sigmoid, kernel_regularizer = regularizers.l2(0.0001)),
    layers.Dropout(0.5),

    layers.Dense(units = NUM_CLASSES, activation = activations.softmax)
])

model.summary()

model.compile(loss      = losses.CategoricalCrossentropy(),
              optimizer = optimizers.RMSprop(),
              metrics   = ['accuracy'])

history = model.fit(x_train, y_train,
                    batch_size = BATCH_SIZE,
                    epochs = EPOCHS,
                    verbose = 2,
                    validation_data = (x_val, y_val))

如果没有l2部分，一切正常，但一旦我尝试使用正则化，一切都会横向变化，准确率始终保持在 10%：

Epoch 1/300
391/391 - 1s - loss: 2.4411 - accuracy: 0.0990 - val_loss: 2.3027 - val_accuracy: 0.1064

Epoch 2/300
391/391 - 0s - loss: 2.3374 - accuracy: 0.1007 - val_loss: 2.3031 - val_accuracy: 0.1064

Epoch 3/300
391/391 - 0s - loss: 2.3178 - accuracy: 0.1016 - val_loss: 2.3041 - val_accuracy: 0.1064

Epoch 4/300
391/391 - 0s - loss: 2.3089 - accuracy: 0.1045 - val_loss: 2.3026 - val_accuracy: 0.1064

Epoch 5/300
391/391 - 0s - loss: 2.3051 - accuracy: 0.1060 - val_loss: 2.3030 - val_accuracy: 0.1064

当我手动将regularizers.l2作为参数以及将"l2"作为参数时，都会发生这种情况。

为什么会发生这种情况，我做错了什么？

Answer 1

我怀疑退出率高达.5，添加正则化会阻止网络学习。 辍学和正则化都是防止过度拟合的一种手段。 尝试通过正则化使用较低的辍学率，并查看网络是否正确训练。 迄今为止，我的经验是 dropout 在控制过度拟合方面比正则化器更有效。