使用 tensorflow 版本 2.x 從頭開始進行 BERT 預訓練

Question

我在tensorflow version 1.15.5中使用run_pretraining.py ( https://github.com/google-research/bert/blob/master/run_pretraining.py ) python 腳本。 我也使用谷歌雲 TPU。 是否有可能或任何 python 腳本使用 tensorflow 版本 2.x 在 TPU 上從頭開始進行 BERT 預訓練？

Answer 1

是的，您可以使用TF2 model garden中的NPL 庫。

創建訓練數據和運行預訓練的說明在這里： nlp/docs/train.md#pre-train-a-bert-from-scratch 。

您還可以按照BERT Fine Tuning with Cloud TPU教程進行一些更改以運行預訓練腳本而不是微調。