使用 GPU 进行 HuggingFace 训练
[英]HuggingFace Training using GPU
问题描述
Based on HuggingFace script to train a transformers model from scratch.
基于HuggingFace 脚本从头开始训练一个变形金刚 model。 I run:我跑：
python3 run_mlm.py \
--dataset_name wikipedia \
--tokenizer_name roberta-base \
--model_type roberta \
--dataset_config_name 20200501.en \
--do_train \
--do_eval \
--learning_rate 1e-5 \
--num_train_epochs 5 \
--save_steps 5000 \
--warmup_steps=10000 \
--seed 666 \
--gradient_accumulation_steps=4 \
--output_dir models/mlm_wikipedia_scratch/ \
--per_gpu_train_batch_size 8
I don't understand why I can't see my python3 process on GPU running nvidia-smi Here a screen:我不明白为什么在运行nvidia-smi的 GPU 上看不到我的 python3 进程这里是一个屏幕：
1 个解决方案
解决方案1
0 已采纳 2021-02-26 04:50:27
You have to make sure the followings are correct:您必须确保以下内容是正确的：
- GPU is correctly installed on your environment GPU 已正确安装在您的环境中
In [1]: import torch
In [2]: torch.cuda.is_available()
Out[2]: True
- Specify the GPU you want to use:指定您要使用的 GPU：
export CUDA_VISIBLE_DEVICES=X # X = 0, 1 or 2
echo $CUDA_VISIBLE_DEVICES # Testing: Should display the GPU you set
Run the script again and it should work.再次运行脚本，它应该可以工作。
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
尽管使用了 GPU memory，但 Keras 停止了训练 - Keras stopped training despite using GPU memory
Colab 未使用 GPU 进行培训 - Colab isn't using GPU for training
CUDA 错误：使用 HuggingFace 训练 BERT 模型时出现 CUBLAS_STATUS_INVALID_VALUE 错误 - CUDA error: CUBLAS_STATUS_INVALID_VALUE error when training BERT model using HuggingFace
使用自定义数据训练 model 时出现 Huggingface 错误 - Huggingface error while training model with custom data
如何使用GPU加速网络培训？ - How can I speed up the training of a network using my GPU?
TensorFlow 在训练期间没有使用我的 M1 MacBook GPU - TensorFlow is not using my M1 MacBook GPU during training
在训练时确认 TF2 正在使用我的 GPU - Confirm that TF2 is using my GPU when training
使用Tensorflow数据集在GPU上进行模型训练时的周期性开销 - Periodic overhead when using tensorflow dataset for model training on GPU
使用 keras 训练 CNN model 可与 CPU 一起使用，但不适用于 GPU - Training CNN model using keras works with CPU but not with GPU
使用 GPU 训练 ResNet model 时发现 OMM 错误 - Finding an OMM error while training a ResNet model using GPU
相关标签