Keras 损失值非常高且不减少

Question

首先，我知道以前也有人问过类似的问题，但主要是分类问题。 我的是回归式问题。

我正在尝试使用 keras 训练一个 neural.network，以使用鳕鱼评估来评估国际象棋的位置。 输入是 (12,8,8) 数组中的棋盘（代表每个棋子的棋子放置），output 是棋子的评估。 训练时，loss 停滞在 500,000-600,000 左右。 我有超过 1200 万个板 + 评估，我一次训练所有数据。 损失function是MSE。

这是我当前的代码：

model = Sequential()
model.add(Dense(16, activation = "relu", input_shape = (12, 8, 8)))
model.add(Dropout(0.2))
model.add(Dense(16, activation = "relu"))
model.add(Dense(10, activation = "relu"))
model.add(Dropout(0.2))
model.add(Flatten())
model.add(Dense(1, activation = "linear"))
model.compile(optimizer = "adam", loss = "mean_squared_error", metrics = ["mse"])
model.summary()
# model = load_model("model.h5")

boards = np.load("boards.npy")
evals = np.load("evals.npy")
perf = model.fit(boards, evals, epochs = 10).history
model.save("model.h5")
plt.figure(dpi = 600)
plt.title("Loss")
plt.plot(perf["loss"])
plt.show()

这是前一个纪元的 output：

145856/398997 [=========>....................] - ETA: 26:23 - loss: 593797.4375 - mse: 593797.4375

进一步拟合后损失会保持在570,000-580,000，不太理想。 如果我没记错的话，损失应该再减少几个数量级。

问题是什么？如何解决才能使 model 学习得更好？

Answer 1

我怀疑您的评估数据包含非常大的值，例如如果一方强行获胜则有 100000 个棋子。 相比之下，如果您的 model 在同一个 position 中预测类似 0 的值，则平方误差非常高，这也会将 MSE 推高。 您可能想要检查您的评估数据并确保它们在某个有限范围内，例如 [-20..20]。

此外，评估国际象棋 position 是一个非常复杂的问题。 看来您的 model 的任务参数太少。 可能的改进：

• 增加致密层中的神经元数量（比如 300、200、100）。
• 增加隐藏层的数量（比如增加到 10）。
• 使用卷积层。

除此之外，您可能想要创建一个简单的“基线模型”以更好地评估您的神经网络的性能。 这个基线 model 可能只是一个 python function，它在输入数据上运行，并根据材料计数（如主教 - 3 个棋子，车 - 5 等）进行 position 评估。然后你可以在你的数据集上运行这个 function 并查看 MSE . 如果你的 neural.network 产生的 MSE 小于这个基线 model，那么它实际上是在学习一些有用的模式。

我还推荐以下书籍：Dominik Klein 撰写的“国际象棋神经网络：揭示深度学习和强化学习的魔力”。 本书包含对 AlphaZero 国际象棋引擎中使用的网络架构的描述以及 Stockfish 中使用的神经网络。