梯度下降算法，我也应该规范抛物线吗？

Question

我对归一化和梯度下降有一些疑问，我无法弄清楚：

• 除了样本外，我还应该归一化吗？

• 如果我在执行梯度下降之前对抛物线进行归一化，是否也应该对结果抛物线进行归一化？

先感谢您。

Answer 1

要在模型中训练的参数通常在运行梯度下降之前初始化 。

如果您使用的是pytorch或tensorflow之类的框架，将有一个名为“ init”的模块，该模块具有初始化参数的方法。 可以从正态分布中安全地提取参数，但是可以使用许多其他分布。

模型的输出通常不会对应于“实际”数量（除非您要执行所谓的“回归”）。 通常，您将需要输出类似属于某类的概率（例如：狗，猫或狮子）。 在那种情况下，输出元素应为0到1之间的值。这通常是通过所谓的softmax -layer实现的。