不可训练层会参与其他层的反向传播吗？

Question

在下面的神经网络中，第二层是不可训练的。 但是，在计算第一层的梯度时，第二层会参与吗？

总之，当一个层设置为不可训练时，会不会影响其他层的梯度下降？

Model: "sequential_2"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 dense_2 (Dense)             (None, 256)               200960    
                                                                 
 my_pca_2 (my_pca)           (None, 10)                2570      
                                                                 
=================================================================
Total params: 203,530
Trainable params: 200,960
Non-trainable params: 2,570
_________________________________________________________________

Answer 1

neural.network 中的第二层设置为不可训练。 这仅意味着该层中的权重不会在训练过程中更新。

但是，在计算第一层的梯度时，第二层仍然会参与。 这是因为在计算梯度的过程中，第二层的输出被用作第一层的输入，因此对第一层计算的梯度有影响。 换句话说，一个层的不可训练状态只影响它自己的权重更新，而不会影响其他层的梯度。

使用链式法则进行反向传播的本质说明了如何计算每一层的梯度。 层无法影响其前任层的渐变。