BERT的慢訓練 model 抱臉

Question

我正在使用 BERT model implement in hugging face library 訓練二進制分類器

training_args = TrainingArguments(
   "deleted_tweets_trainer",                  
   num_train_epochs = 1,            
   #logging_steps=100,    
   evaluation_strategy='steps',       
   remove_unused_columns = True    
)

我仍在使用 Colab TPU，訓練時間仍然很多，38 小時清理推文 60 小時。

有什么辦法可以優化訓練？

Answer 1

您目前每 500 步評估一次，訓練和評估批大小為 8。

根據您當前的 memory 消耗量，您可以增加批量大小（隨着訓練消耗更多內存，評估更多）：

• per_device_train_batch_size
• per_device_eval_batch_size

如果它符合您的用例，您還可以在評估開始后增加步驟；

• 評估步驟