Keras 中 LSTM 模型訓練的 epoch 中步數的重要性

Question

在相同數據上訓練的兩個 LSTM 模型 A 和 B 之間有什么區別，但是每個 epoch 的批次是隨機打亂的，A 每個 epoch 有 14 步，B 每個 epoch 有 132 步？ 哪一個在驗證中表現更好？

Answer 1

一個 epoch 包括一次遍歷所有的訓練樣本。 一步/迭代是指對單個小批量進行訓練。 因此，如果您有 1,000,000 個訓練樣本並使用 100 的批量大小，則一個 epoch 將相當於 10,000 步，每步 100 個樣本。

高級神經網絡框架可以讓您設置時期數或訓練步驟總數。 但是你不能同時設置它們，因為一個直接決定另一個的值。

批量大小對模型行為的影響：小批量通常會導致快速學習，但學習過程不穩定，具有更高的方差。 較大的批量會減慢學習過程，但最后階段會收斂到更穩定的模型，例如較低的方差。