如何保存我的 model 在训练期间创建的嵌入？

Question

我正在处理图像相似性问题，并希望保存 model 在训练期间创建的图像嵌入。 有没有办法在嵌入被传递到损失 function 之前捕获嵌入？

这是我的 model

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(filters=128, kernel_size=2, padding='same', activation='relu', input_shape=(32,32,3)),
    tf.keras.layers.MaxPooling2D(pool_size=2),
    tf.keras.layers.Dropout(0.3),
    tf.keras.layers.Conv2D(filters=64, kernel_size=2, padding='same', activation='relu'),
    tf.keras.layers.MaxPooling2D(pool_size=2),
    tf.keras.layers.Dropout(0.3),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(32, activation=None), # No activation on final dense layer
    tf.keras.layers.Lambda(lambda x: tf.math.l2_normalize(x, axis=1)) # L2 normalize embeddings

])

model.compile(
    optimizer=tf.keras.optimizers.Adam(0.001),
    loss=tfa.losses.TripletSemiHardLoss(),
    metrics = ["accuracy"])

history = model.fit(train_dataset, epochs=3, validation_data=test_dataset)

需要明确的是，我不希望仅来自此处显示的最后一层的输出。 我想从我的 model 中保存最终结果向量 output。

Answer 1

您可以创建自定义回调，并在每个批次的训练步骤结束时，使用输入批次调用 model 并获取 output 并保存。

class SaveEmbeddingCallback(tf.keras.callbacks.Callback):
    def on_train_batch_end(self, batch, logs=None):
        embedding = self.model.predict(batch)
        # IN THIS STAGE YOU HAVE THE OUTPUT OF THE MODEL
        # YOU CAN SAVE IT OR WHATEVER YOU WANT
        ...


model.compile(
    optimizer=tf.keras.optimizers.Adam(0.001),
    loss=tfa.losses.TripletSemiHardLoss(),
    metrics = ["accuracy"])

history = model.fit(train_dataset,
    epochs=3,
    validation_data=test_dataset,
    callbacks=[SaveEmbeddingCallback()])

有关 keras 自定义回调的更多信息，请阅读此 TensorFlow教程