简体繁体 English

在本地 gpu 和 colab gpu 上进行分布式训练

[英]Distributed training over local gpu and colab gpu

原文 2020-03-27 19:49:44 8 1 python/ tensorflow/ gpu/ google-colaboratory/ distributed-training

I want to fine tune ALBERT.我想微调 ALBERT。

I see one can distribute neural net training over multiple gpus using tensorflow: https://www.tensorflow.org/guide/distributed_training我看到可以使用 tensorflow 在多个 gpu 上分配神经网络训练： https ://www.tensorflow.org/guide/distributed_training

I was wondering if it's possible to distribute fine-tuning across both my laptop's gpu and a colab gpu?我想知道是否可以在我的笔记本电脑的 gpu 和 colab gpu 上分配微调？

1 个解决方案

I don't think that's possible.我不认为那是可能的。 Because in order to do GPU distributed training, you need NVLinks among your GPUs.因为为了进行 GPU 分布式训练，您的 GPU 之间需要 NVLink。 You don't have such a link between your laptop's GPU and Colab GPUs.您的笔记本电脑的 GPU 和 Colab GPU 之间没有这种联系。 This is a good read https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/这是一个很好的阅读https://lambdalabs.com/blog/introduction-multi-gpu-multi-node-distributed-training-nccl-2-0/

Colab 未使用 GPU 进行培训 - Colab isn't using GPU for training

使用 GPU 连接到本地运行时 google colab 需要 tensorflow-gpu？ - Connecting to local runtime google colab with GPU needs tensorflow-gpu?

Tensorflow 在本地 GPU 上比 LSTM 上的 Colab GPU 慢 - Tensorflow slower on Local GPU than Colab GPU on LSTM

使用 gpu 通过 google colab 连接到本地运行时 - connect to local runtime via google colab with gpu

在 Google Colab 中开始训练之前加载数据到 GPU - loading data in GPU before starting training in Google Colab

google colab 使用本地运行时并且不检测本地 gpu - google colab using local runtime and doesn't detect local gpu

tensorflow 多 GPU 训练 - tensorflow multi GPU training

用 GPU 训练很慢 - Training with GPU very slow

使用 GPU 进行 HuggingFace 训练 - HuggingFace Training using GPU

将 Colab GPU 用于纸浆 Python - Using Colab GPU for PULP Python

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Colab 未使用 GPU 进行培训 - Colab isn't using GPU for training 使用 GPU 连接到本地运行时 google colab 需要 tensorflow-gpu？ - Connecting to local runtime google colab with GPU needs tensorflow-gpu? Tensorflow 在本地 GPU 上比 LSTM 上的 Colab GPU 慢 - Tensorflow slower on Local GPU than Colab GPU on LSTM 使用 gpu 通过 google colab 连接到本地运行时 - connect to local runtime via google colab with gpu 在 Google Colab 中开始训练之前加载数据到 GPU - loading data in GPU before starting training in Google Colab google colab 使用本地运行时并且不检测本地 gpu - google colab using local runtime and doesn't detect local gpu tensorflow 多 GPU 训练 - tensorflow multi GPU training 用 GPU 训练很慢 - Training with GPU very slow 使用 GPU 进行 HuggingFace 训练 - HuggingFace Training using GPU 将 Colab GPU 用于纸浆 Python - Using Colab GPU for PULP Python

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM