无法从 Google Colab 的检查点训练 model，因为这些在几个小时后都被删除了

Question

我正在使用 Google Colab 对预训练的 model 进行 f.netuning。

我成功地预处理了一个数据集并创建了一个 Seq2SeqTrainer 实例 class：

trainer = Seq2SeqTrainer(
    model,
    args,
    train_dataset=tokenized_datasets["train"],
    eval_dataset=tokenized_datasets["validation"],
    data_collator=data_collator,
    tokenizer=tokenizer,
    compute_metrics=compute_metrics
)

但问题是在 session 结束后从最后一个检查点开始训练它。

如果我运行trainer.train()它运行良好。 由于需要很长时间，几个小时后我回到了 Colab 选项卡。 我知道，如果 session 崩溃了，我可以像这样从最后一个检查点继续训练： trainer.train("checkpoint-5500")

但问题是，如果我回来得太晚，那些检查点数据将不再存在于 Google Colab 上，所以即使我知道训练到什么点已经完成，我将不得不重新开始？

有什么办法可以解决这个问题吗？

Answer 1

要解决您的问题，请尝试添加一个完整的固定路径，例如您的谷歌驱动器并将checkpoint-5500保存到它。

使用您的培训师，您可以在创建 Seq2SeqTrainingArguments 的实例时将 output 目录设置为您的 Google Drive 路径。

当你回到你的代码时，如果 session 确实结束了，你只需要从你的谷歌驱动器加载你的checkpoint-5500而不是重新训练一切。

添加以下代码：

from google.colab import drive
drive.mount('/content/drive')

然后在你的trainer.train("checkpoint-5500")完成后（或者作为最后一步）将你的检查点保存到你的谷歌驱动器。 或者，如果您愿意，您可以在适合的 function 中添加一个callback ，以便在每个纪元之后保存和更新（也就是说，如果 session 由于某种原因在它完成之前崩溃，您仍然可以保存一些进度）。