Keras 中 LSTM 模型训练的 epoch 中步数的重要性

Question

在相同数据上训练的两个 LSTM 模型 A 和 B 之间有什么区别，但是每个 epoch 的批次是随机打乱的，A 每个 epoch 有 14 步，B 每个 epoch 有 132 步？ 哪一个在验证中表现更好？

Answer 1

一个 epoch 包括一次遍历所有的训练样本。 一步/迭代是指对单个小批量进行训练。 因此，如果您有 1,000,000 个训练样本并使用 100 的批量大小，则一个 epoch 将相当于 10,000 步，每步 100 个样本。

高级神经网络框架可以让您设置时期数或训练步骤总数。 但是你不能同时设置它们，因为一个直接决定另一个的值。

批量大小对模型行为的影响：小批量通常会导致快速学习，但学习过程不稳定，具有更高的方差。 较大的批量会减慢学习过程，但最后阶段会收敛到更稳定的模型，例如较低的方差。