keras 在預訓練模型上設置可訓練標志

Question

假設我有一個模型

from tensorflow.keras.applications import DenseNet201

base_model = DenseNet201(input_tensor=Input(shape=basic_shape))

model = Sequential()
model.add(base_model)

model.add(Dense(400))
model.add(BatchNormalization())
model.add(ReLU())

model.add(Dense(50, activation='softmax'))

model.save('test.hdf5')

然后我加載保存的模型並嘗試使DenseNet201的最后 40 層可訓練，前 161 層不可訓練：

saved_model = load_model('test.hdf5')
cnt = 44
saved_model.trainable = False
  while cnt > 0:
      saved_model.layers[-cnt].trainable = True
      cnt -= 1

但這實際上不起作用，因為DenseNet201被確定為單層，而我只是得到索引超出范圍錯誤。

Layer (type)                 Output Shape              Param #   
=================================================================
densenet201 (Functional)     (None, 1000)              20242984  
_________________________________________________________________
dense (Dense)                (None, 400)               400400    
_________________________________________________________________
batch_normalization (BatchNo (None, 400)               1600      
_________________________________________________________________
re_lu (ReLU)                 (None, 400)               0         
_________________________________________________________________
dense_1 (Dense)              (None, 50)                20050     
=================================================================
Total params: 20,665,034
Trainable params: 4,490,090
Non-trainable params: 16,174,944

問題是我如何才能真正使 DenseNet 的前 161 層不可訓練，而后 40 層可在加載的模型上訓練？

Answer 1

densenet201 (Functional)是一個嵌套模型，因此您可以像訪問“最頂層”模型的層一樣訪問它的層。

saved_model.layers[0].layers

其中saved_model.layers[0]是一個有自己層的模型。

在您的循環中，您需要像這樣訪問圖層

saved_model.layers[0].layers[-cnt].trainable = True

更新

默認情況下，加載模型的層是可訓練的（ trainable=True ），因此您需要將底層的trainable屬性設置為False 。