为什么mse loss突然跳了？

Question

我正在使用神经网络解决回归问题。 在训练开始时，mse loss会降低，准确率令人满意，但是，当训练过程进行时，损失有很大的跳跃，并保持在一定的值， 就像图片中的曲线。 我不知道为什么以及如何解决它？ 我想问我是否可以在跳跃前使用训练系数，例如 8000 的训练步长，作为我的最终结果？

Answer 1

这是 model 训练的典型案例，其中准确度指标的值从一定数量的训练时期停止提高（甚至变得更糟）。 我建议您实施Early Stopping ，这意味着“是的”，如果您的唯一目标是最小化训练损失，您可以将第 8000 步的训练精度作为最终结果。

这个 TF 文档解释了如何使用 Tensorflow 的tf.keras.callbacks.EarlyStopping() function 实现 Early Stopping。

但是，如果您的目标是 model 可以很好地概括看不见的数据（测试/验证数据），因为这通常是这种情况，您可能需要评估模型的测试准确性，以便在实施 Early Stopping 时将其考虑在内。

这篇文章给出了一个很好的例子，用 Tensorflow 端到端实现提前停止。