是否可以在检查点之间恢复到 CNN model 的过去 state？

Question

我正在使用 U-Net GAN。 我每 5000 步创建一次检查点，在 19000 步左右结果非常好，但系统在达到 20000 步并再次检查点之前立即崩溃为垃圾结果。 我假设鉴别器因跳跃太大而无法恢复。

有没有什么办法可以还原到生成器model在百步无敌变傻之前的这个state？ 就像 20k 检查点之前的 900 步一样。

Answer 1

我认为在不是检查点的培训期间不可能恢复到某个 state。 但是为了防止下次发生这种情况，您可以根据某些性能指标（例如准确性或验证损失）使用callbacks来保存您想要的 model。 这是执行此操作的 Python 代码：

chk = ModelCheckpoint(model_directory_name,
                          monitor="val_loss",
                          verbose=1,
                          save_best_only=True,
                          save_weights_only=False,
                          mode='min',
                          period=1)
callbacks = [chk]

然后你可以通过这种方式调用model.fit来包含回调：

# Train the Model
model_log = model.fit(x=train_generator,
                      validation_data=test_generator,
                      callbacks=callbacks,
                      ...)

现在当你开始训练时，精度最好的 model 会一直被保存