机器学习时期和损失

Question

输入数据 = 11000 点，10000 次训练和 1000 次测试。

我正在使用 Keras 顺序 LSTM，我正在使用批量大小 128 和时期 1000 对其进行训练。

我注意到在前 100 次中损失的改善非常低，然后在接下来的 100 次中损失比前 100 次改善得更好，然后在第 300-400 个时期中损失改善得很好。

这是正常的吗？ 还是我的 model 过拟合了？

谢谢

Answer 1

所以你可以想象乘坐雪橇下山的损失。 您从山顶开始，想要到达山脚（函数的最小值）。 越接近底部损失越小。 起初，山并不那么陡峭，所以你很慢地到达山脚下。 当您 go 越往下走，山坡越陡，您的速度也越来越快，直到到达山脚。 所以就像现实中每座山的高度和陡度都不一样，所以你不能说哪个速度（损失改善）在哪个时间（纪元）是正常的。 只要你的损失在改善（变小），一切都很好，你的 model 正在学习。

可以在此处找到对 ML 和梯度体面的很好的介绍

至于过拟合的问题。 要检查是否过度拟合，您应该专门留出一个数据集来测试您的 model。如果您的 model 在训练期间表现良好但在测试期间表现不佳，则很可能是过度拟合。 至少如果您正确地准备和拆分了数据。