dnn model 中的过拟合

Question

我有一个数据集，我在其上训练 DNN model。 我的数据集包含 398 个样本和 330 个特征，我使用 ExtraTreeclassifier() 将特征减少到 39 个。 这是我的 model：

X_train, X_test, y_train, y_test = train_test_split(xfinal, val_y, test_size = 0.2, random_state = 0)
model=Sequential()
model.add(Dense(units=20, kernel_initializer='uniform', activation='relu',input_dim=nb_features))
model.add(Dense(units=20, kernel_initializer='uniform', activation='relu'))
model.add(Dense(units=10, kernel_initializer='uniform', activation='relu'))
model.add(Dense(units=5, kernel_initializer='uniform', activation='relu'))
model.add(Dense(units=1,kernel_initializer='uniform',activation='sigmoid'))
model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])
history = model.fit(X_train,y_train,validation_data=(X_test,y_test),batch_size=32,epochs=250)

我尝试了 Dropout，但我的 model 钢过拟合：

我的 model 有什么解决方案吗？

Answer 1

您可以在Dense层之间添加Dropout层，如下所示。

model.add(Dropout(0.2))

您还可以从架构中删除一个或多个隐藏层。

还有一件事是，您可以使用Earlystopping方法在正确的纪元处停止。

您最终的 model 架构可能如下所示：

callbacks = [EarlyStopping(monitor='val_loss', patience=5)]
model=Sequential()
model.add(Dense(units=20, kernel_initializer='uniform', activation='relu',input_dim=nb_features))
model.add(Dropout(0.2))
model.add(Dense(units=5, kernel_initializer='uniform', activation='relu'))
model.add(Dense(units=1,kernel_initializer='uniform',activation='sigmoid'))
model.compile(optimizer='adam',loss='binary_crossentropy',metrics=['accuracy'])
history = model.fit(X_train,y_train,validation_data=(X_test,y_test),batch_size=32,epochs=250, callbacks=callbacks)