訓練損失在前幾個時期減少，但突然上升到很高的值

Question

我正在醫學數據集上訓練3D Unet。 我試圖在只有一個實例的小型數據集上過度擬合模型。 損耗首先減小，但突然上升到很高的值。 我附上下面的損耗曲線。 我在每個卷積層和l2正則化之后添加批處理歸一化。
損失函數是加權的softmax交叉熵。
優化器為Adam，初始學習率為0.0001。
我想知道為什么損失無法穩定。 這是否意味着損失函數過於平滑？

Answer 1

我改變了初始化體重的方式。 目前，培訓過程非常穩定。 該模型正在按預期收斂。

Answer 2

有很多因素會影響損失函數。 如前所述，您更改了初始化權重的方式。 其他因素可能是學習率，正則化因素，您使用的優化程序的類型。 盡管您已經提到了其中一些。

有一些建議：1.嘗試使用輟學。 2.嘗試使用學習率和正則化的不同組合並標出損失。

另外，我認為使用Adam優化器是一個好主意。 它確實提高了處理速度。

歸根結底，大部分結果都是根據經驗得出的，並且很大程度上取決於您的數據集。