如何防止此模型中的过度拟合？

Question

我为图像分类问题制作了这个模型。 我遇到的问题是验证准确度总是比训练准确度低 5-8%，并且验证损失远高于训练损失。 这是我的一个时代的示例：损失：0.2232 - acc：0.9245 - val_loss：0.4131 - val_acc：0.8700

model = Sequential()

model.add(Conv2D(32, 3, 3, border_mode='same', input_shape=(150, 
150, 3), activation='relu'))
model.add(Conv2D(32, 3, 3, border_mode='same', activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, 3, 3, border_mode='same', activation='relu'))
model.add(Conv2D(64, 3, 3, border_mode='same', activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(128, 3, 3, border_mode='same', 
activation='relu'))
model.add(Conv2D(128, 3, 3, border_mode='same', 
activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(256, 3, 3, border_mode='same', 
activation='relu'))
model.add(Conv2D(256, 3, 3, border_mode='same', 
activation='relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))

model.add(Dense(256, activation='relu'))
model.add(Dropout(0.5))

model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy',
              optimizer=RMSprop(lr=0.0001),
              metrics=['accuracy'])

# this is the augmentation configuration we will use for training
train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    shear_range=0.1,
    zoom_range=0.1,
    horizontal_flip=True)

# this is the augmentation configuration we will use for testing:
# only rescaling
test_datagen = ImageDataGenerator(rescale=1. / 255)

我已经尝试使用 Hyperas 进行贝叶斯超参数优化，但它推荐的模型超参数对我来说并不真正有效。 我应该改变我的模型以防止它过度拟合？ 我没有使用太多数据来训练和验证模型，因为我没有太多关于模型将在现实生活中使用的数据。 任何建议将不胜感激。

Answer 1

过度拟合是一回事，训练与验证错误是另一回事。

您的训练分数优于验证的事实并不意味着您过度拟合。 当您的验证分数达到最佳状态，然后随着训练开始变得更糟时，您就过度拟合了。

如果您正在寻找更好的验证分数 - 更好的模型泛化，您可以做的是：

• 增加 dropout（你的 dropout 看起来不错，但尝试增加它，看看会发生什么，

• 使用更多数据进行训练（不可能如你上面所说）

• 尝试更重的增强

• 尝试预先训练的网络

• 尝试集成

• 尝试 tta（测试时间增加）

• 尝试任何其他训练策略，如余弦退火、混合生成器或其他生成器（不是 keras）作为白化

Answer 2

您是否在测试阶段关闭了 DropOut 层？

由于 DropOut 层仅在训练阶段使用以防止过度拟合，因此它们不会在测试阶段使用。 这就是 Tf.Estimator 现在出名的原因，因为您可以使用 is_training=True/False 更轻松地关闭 DropOut

您可以使用 tf.keras.backend.set_learning_phase(0) 关闭。 请确保您使用的是tensorflow.keras from tensorflow.keras.layers import Conv2D, MaxPooling2D, Dense, Dropout, Input, Flatten，tf.keras 和 keras 有区别，tf.keras 更好。

如果您已关闭，以下是我防止过度拟合的技巧：
- 进行错误分析。 可以参考 Prof.Andrew 最佳材料https://www.coursera.org/learn/machine-learning-projects?specialization=deep-learning
- 检查测试和训练集分布，数据增强（翻转，旋转，...）
- 增加 InputShape 以获得更多功能。 当前最好的技术之一是使用来自https://arxiv.org/pdf/1905.11946.pdf 的复合缩放方法

希望这可以帮助！ 快乐编码！