在超参数调整期间，简单参数是否也会更改

Question

在超参数调整过程中，是否还优化了参数（在模型训练过程中已学习的权重）或参数是否固定，并且仅找到了超参数的最佳值？ 请解释。

Answer 1

总之就是没有 ，他们是不固定的。

因为，超参数直接影响您的简单参数 。 因此，对于神经网络而言，要使用的任何隐藏层都不是超参数，而每层中的权重和偏差可以称为简单参数。 当然，当网络（超参数）本身的层数可变时，您不能使各个层的权重保持恒定。 同样，在线性回归中，您的正则化超参数会直接影响所学习的权重。

因此，调整超参数的目标是获得一个值，该值可导致这些简单参数的最佳集合。 这些简单的参数是您真正关心的参数 ，它们是最终预测/部署中要使用的参数。 因此，调整超参数并使其固定不变是没有意义的。