BERT的慢训练 model 抱脸

Question

我正在使用 BERT model implement in hugging face library 训练二进制分类器

training_args = TrainingArguments(
   "deleted_tweets_trainer",                  
   num_train_epochs = 1,            
   #logging_steps=100,    
   evaluation_strategy='steps',       
   remove_unused_columns = True    
)

我仍在使用 Colab TPU，训练时间仍然很多，38 小时清理推文 60 小时。

有什么办法可以优化训练？

Answer 1

您目前每 500 步评估一次，训练和评估批大小为 8。

根据您当前的 memory 消耗量，您可以增加批量大小（随着训练消耗更多内存，评估更多）：

• per_device_train_batch_size
• per_device_eval_batch_size

如果它符合您的用例，您还可以在评估开始后增加步骤；

• 评估步骤