无法使用 google colab gpu 上的空间训练 model

Question

如何重现行为

按照以下关于 google colab 的说明进行操作

pip install -U pip setuptools wheel
pip install -U 'spacy[cuda113,transformers,lookups]'
python -m spacy download en_core_web_sm

在运行下面的代码时~

!python3 -m spacy train /content/drive/MyDrive/config/config.cfg --gpu-id 0 --output /content/drive/MyDrive/trf_spacy_model --paths.train /content/drive/MyDrive/train_data-2 --paths.dev /content/drive/MyDrive/test_data-2

遇到这个错误！！！！

ℹ Saving to output directory:
/content/drive/MyDrive/trf_spacy_model
ℹ Using GPU: 0
Traceback (most recent call last):
File "/usr/lib/python3.7/runpy.py", line 193, in _run_module_as_main
"main", mod_spec)
File "/usr/lib/python3.7/runpy.py", line 85, in _run_code
exec(code, run_globals)
File "/usr/local/lib/python3.7/dist-packages/spacy/main.py", line 4, in 
setup_cli()
File "/usr/local/lib/python3.7/dist-packages/spacy/cli/_util.py", line 71, in setup_cli
command(prog_name=COMMAND)
File "/usr/local/lib/python3.7/dist-packages/click/core.py", line 829, in call
return self.main(*args, **kwargs)
File "/usr/local/lib/python3.7/dist-packages/click/core.py", line 782, in main
rv = self.invoke(ctx)
File "/usr/local/lib/python3.7/dist-packages/click/core.py", line 1259, in invoke
return _process_result(sub_ctx.command.invoke(sub_ctx))
File "/usr/local/lib/python3.7/dist-packages/click/core.py", line 1066, in invoke
return ctx.invoke(self.callback, **ctx.params)
File "/usr/local/lib/python3.7/dist-packages/click/core.py", line 610, in invoke
return callback(*args, **kwargs)
File "/usr/local/lib/python3.7/dist-packages/typer/main.py", line 532, in wrapper
return callback(**use_params) # type: ignore
File "/usr/local/lib/python3.7/dist-packages/spacy/cli/train.py", line 45, in train_cli
train(config_path, output_path, use_gpu=use_gpu, overrides=overrides)
File "/usr/local/lib/python3.7/dist-packages/spacy/cli/train.py", line 67, in train
setup_gpu(use_gpu)
File "/usr/local/lib/python3.7/dist-packages/spacy/cli/_util.py", line 571, in setup_gpu
require_gpu(use_gpu)
File "/usr/local/lib/python3.7/dist-packages/thinc/util.py", line 195, in require_gpu
raise ValueError("No GPU devices detected")
ValueError: No GPU devices detected

你的环境

操作系统：Python 使用的版本：spaCy 使用的版本：环境信息：有关 spaCy 的信息

spaCy 版本：3.4.0 平台：Linux-5.4.188+-x86_64-with-Ubuntu-18.04-bionic Python 版本：3.7.13 管道：en_core_web_trf (3.4.0), en_core_web_sm (3.3.0)

Answer 1

问题似乎是您正在尝试在无法访问 GPU 的情况下进行训练。 您可以在没有 gpu 的情况下进行训练（通过在训练脚本中省略--gpu-id 0参数 - 注意：这将非常慢。！）或者通过设置您的 gpu。

去做这个：

您应该首先检查您的运行时是否使用 GPU。

在 colab 上运行!nvidia-smi -L看看你有什么 GPU。

如果那里没有 GPU，则 go 设置为运行时 -> 更改运行时和 select Z52F91EC2173074DA329

这应该会改变您的运行时类型并重新运行上述命令应该可以工作。