過度擬合神經網絡的最佳方法是什么？

Question

我一直在瀏覽這個瀏覽器內的在線演示https://cs.stanford.edu/people/karpathy/convnetjs/demo/image_regression.html，並且我一直在嘗試用文本制作圖像（一個加上“狐狸說什么...”標題），看起來更清晰（文本可讀），無濟於事。

該神經網絡接收兩個輸入-像素的X和Y位置以及三個輸出-所述像素的RGB通道。 通過選擇的圖片訓練網絡，然后嘗試“繪制”它。

我想以一種使每個像素盡可能匹配原始圖像的方式來訓練該網絡，即使其過擬合。 如何做到這一點？ 應該使用什么組合或參數？ 也許網絡的結構需要不同（更多的層，更多的神經元層，不同的層類型等）？

我嘗試過在不改變原始結構的情況下提高學習速度，但是即使經過40萬次迭代，大部分文本也無法區分：

這只是時間問題嗎，也許經過幾百萬次迭代后才能達到預期的結果？ 可以以某種方式加快速度（不增加處理能力和其他明顯的東西）嗎？

看起來讓它每次都為相同的輸入返回相同的值應該是一個非常容易的任務-網絡正在接受數十萬次完全相同的數據訓練，那么為什么它仍然返回那么多的灰色像素？

我是神經網絡的新手，所以也許這是一個愚蠢的問題，神經網絡根本不能用於此。

Answer 1

過度擬合這樣的網絡將非常困難，因為實際上它只是2D的回歸變量，因此您需要對非常“凹凸”的曲面進行建模。 您需要的是許多隱藏的單元-這本質上是使您能夠過度安裝的能力。

這只是時間問題嗎，也許經過幾百萬次迭代后才能達到預期的結果？

不，網絡實際上可能容量太小，無法代表問題。

可以以某種方式加快速度（不增加處理能力和其他明顯的東西）嗎？

是的，不要使用.js（也很明顯，但這應該是基於Web的示例，不是有效的技術）。

看起來讓它每次都為相同的輸入返回相同的值應該是一個非常容易的任務-網絡正在接受數十萬次完全相同的數據訓練，那么為什么它仍然返回那么多的灰色像素？

為什么很難？ NN是否容易過擬合？ 它們很容易因高維問題而過度擬合，在高維問題中 ，使用超平面組合（這是神經網絡的組成部分）可以輕松分離數據點。 在這里，您正在處理二維，非常低維度，非常密集的數據，這與典型的NN方法背道而馳。 如果要使其輕松學習圖像，則應將圖像視為輸入的完整圖像。 在這里，每個像素都是輸入，這使得NN的學習過程相對困難。