Keras model 没有学习和预测三个类别中的一个 class

Question

深度学习领域的新手，目前正在参与这场预测建筑物地震破坏的竞赛。

我创建的 model 以 0.56 的精度开始，但在我让它运行的任意数量的 epoch 中都保持在这个精度。 完成后，model 仅预测三个类别之一（我将其中一个热编码为具有三列的 dataframe）。 改变层数、优化器、数据准备、dropout不会改变任何东西。 即使试图用神经网络的过度参数化来过度拟合我的 model 仍然具有相同的精度和非学习 model 。

我究竟做错了什么？

这是我的代码：

model = keras.models.Sequential()
model.add(keras.layers.Dense(64, input_dim = 85, activation = "relu"))
keras.layers.Dropout(0.3)
model.add(keras.layers.Dense(128, activation = "relu"))
keras.layers.Dropout(0.3)
model.add(keras.layers.Dense(256, activation = "relu"))
keras.layers.Dropout(0.3)
model.add(keras.layers.Dense(512, activation = "relu"))
model.add(keras.layers.Dense(3, activation = "softmax"))

adam = keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0)

model.compile(optimizer = adam,
              loss='categorical_crossentropy',
              metrics = ['accuracy'])

history = model.fit(traindata, trainlabels,
                    epochs = 5,
                    validation_split = 0.2,
                    verbose = 1,)

Answer 1

您的 model 在视觉上没有任何问题，但学习任何有用的功能可能过于繁琐。

1. 尝试使用https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.StandardScaler.html标准化您的输入

2. 仅从 2 层和少量神经元开始。

3. 增加batch_size并尝试 learning_rate 调度。

4. 观察validation_accuracy，当它开始过拟合时停止。

最后，对于 3 类分类，56% 的准确率优于基线，请记住这是一场竞赛，因此数据不是虚拟游乐场数据，您可以期望在第一次尝试时获得 90% 的准确率。

最后，尝试使用tuner进行超参数优化。