如何在 Keras 中微调 InceptionV3

Question

我正在尝试在 Keras 中训练基于 InceptionV3 架构的分类器。 为此，我加载了预训练的 InceptionV3 model，没有顶部，并为我的分类问题的类添加了最终的全连接层。 在第一次训练中，我冻结了 InceptionV3 基础 model，只训练了最后的全连接层。

在第二步中，我想通过解冻 InceptionV3 model 的一部分来“微调”网络。 现在我知道 InceptionV3 model 广泛使用了 BatchNorm 层。 建议（链接到文档），当 BatchNorm 层在迁移学习时“解冻”以进行微调时，保持 BatchNorm 层计算的均值和方差是固定的。 这应该通过将 BatchNorm 层设置为推理模式而不是训练模式来完成。 另请参阅： call() 中的训练参数和可训练属性有什么区别？

现在我的主要问题是：如何仅将 InceptionV3 model 的 BatchNorm 层设置为推理模式？

目前，我通过在组装网络时设置“训练”参数将整个 InceptionV3 基础 model 设置为推理模式：

inputs = keras.Input(shape=input_shape)
# Scale the 0-255 RGB values to 0.0-1.0 RGB values
x = layers.experimental.preprocessing.Rescaling(1./255)(inputs)
# Set include_top to False so that the final fully connected (with pre-loaded weights) layer is not included.
# We will add our own fully connected layer for our own set of classes to the network.
base_model = keras.applications.InceptionV3(input_shape=input_shape, weights='imagenet', include_top=False)
x = base_model(x, training=False)
# Classification block
x = layers.GlobalAveragePooling2D(name='avg_pool')(x)
x = layers.Dense(num_classes, activation='softmax', name='predictions')(x)
model = keras.Model(inputs=inputs, outputs=x)

我不喜欢这样，以这种方式我将整个 model 设置为推理模式，这可能会将某些层设置为不应该的推理模式。

这是从我所做的初始训练中加载权重的代码部分，以及冻结前 150 层并解冻 InceptionV3 部分剩余层的代码：

model.load_weights(load_model_weight_file_name)
for layer in base_model.layers[: 150]:
    layer.trainable = False
for layer in base_model.layers[ 150:]:
    layer.trainable = True

我的代码（此处未显示）的 rest 是通常的编译和拟合调用。

运行此代码似乎会导致网络无法真正学习（损失和准确性保持大致相同）。 我尝试了不同数量级的优化步长，但这似乎没有帮助。

我观察到的另一件事是，当我使整个 InceptionV3 部分可训练时

base_model.trainable = True

训练以比我的第一轮训练完成的精度小几个数量级的服务器开始（当然损失要高得多）。 谁可以给我解释一下这个？ 如果在准确性和损失方面停止训练，我至少希望训练能够继续。

Answer 1

您可以执行以下操作：

for layer in base_model.layers:
    if isinstance(layer ,tf.keras.layers.BatchNormalization):
        layer.trainable=False

这将遍历每一层并检查类型，如果层是 BatchNorm，则设置为推理模式。

至于迁移学习期间的低起始精度，您只加载权重而不是优化器 state（就像加载架构、权重、优化器 Z9ED39E28EA93158EF573E 等的完整model.load()一样）

这并不意味着有错误，但如果您必须加载权重，只是让它训练，优化器将最终配置，您应该会看到进度。 此外，由于您可能会在第二次运行中覆盖预训练的权重，因此请确保您使用较低的学习率，以便相比之下更新较小，即微调权重而不是将它们炸成碎片。