人工神经网络软件程序中的学习率参数

Question

我正在使用一种称为人工神经网络的软件程序。 该软件的参数之一称为学习率（也称为alpha）。 可以通过前后移动滑块来控制学习率设置。 滑块的一侧是1E-05，另一侧是1。介于两者之间的是各种值，例如9E-05，.000045等。我想知道的是，这两个学习率中的哪个是学习速度最快，一侧为1E-05，另一侧为1E。 谢谢。

Answer 1

学习速度与训练速度无关，它与步伐的大小有关 （使用线性幼稚的函数逼近（线性-用于一阶优化器，或二次函数-用于二阶））。 因此，很小的学习率会导致训练缓慢，但是很大的学习率会导致训练不足。 此外-两者之间的值仍然不能单调（您可以进行训练，使较小的学习速度实际上比较大的学习速度收敛）。 因此，即使天真地可以说，高学习率是一种更快的培训-而且，总的来说，这不是正确的-人们无法回答什么是最快的学习率。 您只能在此处使用一些常规的启发式方法/观察法-您可以从较高的学习率入手，如果结果不好，请尝试降低学习率。 但就实际培训时间保证而言，没有任何保证。