如果我的網絡無論經過多長時間的培訓或擴展其容量，都永遠不會過擬合，那意味着什么？

Question

我訓練了一個模型，得到了不錯的結果，但是后來我變得很貪婪，我希望獲得更高的准確性，因此，我訓練模型的時間越來越長，但無濟於事，沒有任何反應！ 根據理論，在某些訓練之后，驗證准確性必須在某個時候開始下降（損失開始增加）！ 但這似乎從未發生。 因此，我認為可能是NN過於簡單以至於無法進行過擬合，因此我增加了它的容量，最終得到了數百萬個參數，並對其進行了10,000個時期的訓練，但仍然沒有過擬合的情況發生。

在這里提出了相同的問題，但是答案除了滿足之外沒有什么。

這意味着什么？

Answer 1

高容量模型是眾所周知的事情。 它們令人驚訝地抵抗過度擬合，這與經典的統計學習理論相反，經典的統計學習理論認為，如果沒有明確的正則化，您將過度擬合。 例如， 本文說

大多數具有學習參數的深度神經網絡通常憑經驗進行很好的推廣，甚至配備了比訓練樣本數量（即高容量）有效得多的參數。因此，統計學習理論無法解釋深度學習模型的推廣能力。

另外， 本文和本文都在談論它。 您可以繼續閱讀這些文章中的參考文獻以了解更多信息。

就個人而言，即使經過數以萬計的訓練，我也從未見過高容量模型過擬合。 如果您想要適合的示例，請使用Lenet 5 for Cifar10，具有ReLU激活功能，並且沒有輟學，並使用學習率0.01 SGD對其進行訓練。 此模型中的訓練參數數量約為600億，與Cifar10（低容量模型）中的樣本數量相同。 在最多500-1000個時期之后，您會看到一個非常明顯的過度擬合，隨着時間的流逝，損失和錯誤會不斷增加。