人工神經網絡軟件程序中的學習率參數

Question

我正在使用一種稱為人工神經網絡的軟件程序。 該軟件的參數之一稱為學習率（也稱為alpha）。 可以通過前后移動滑塊來控制學習率設置。 滑塊的一側是1E-05，另一側是1。介於兩者之間的是各種值，例如9E-05，.000045等。我想知道的是，這兩個學習率中的哪個是學習速度最快，一側為1E-05，另一側為1E。 謝謝。

Answer 1

學習速度與訓練速度無關，它與步伐的大小有關 （使用線性幼稚的函數逼近（線性-用於一階優化器，或二次函數-用於二階））。 因此，很小的學習率會導致訓練緩慢，但是很大的學習率會導致訓練不足。 此外-兩者之間的值仍然不能單調（您可以進行訓練，使較小的學習速度實際上比較大的學習速度收斂）。 因此，即使天真地可以說，高學習率是一種更快的培訓-而且，總的來說，這不是正確的-人們無法回答什么是最快的學習率。 您只能在此處使用一些常規的啟發式方法/觀察法-您可以從較高的學習率入手，如果結果不好，請嘗試降低學習率。 但就實際培訓時間保證而言，沒有任何保證。