ValueError：使用 env:// rendezvous 初始化 torch.distributed 時出錯：需要環境變量 MASTER_ADDR，但未設置

Question

我無法在 PyTorch 中為 BERT model 初始化組進程我曾嘗試使用以下代碼進行初始化：

import torch
import datetime

torch.distributed.init_process_group(
    backend='nccl',
    init_method='env://',
    timeout=datetime.timedelta(0, 1800),
    world_size=0,
    rank=0,
    store=None,
    group_name=''
)

並嘗試訪問get_world_size() function：

num_train_optimization_steps = num_train_optimization_steps // torch.distributed.get_world_size()

完整代碼：

train_examples = None
    num_train_optimization_steps = None
    if do_train:
        train_examples = processor.get_train_examples(data_dir)
        num_train_optimization_steps = int(
            len(train_examples) / train_batch_size / gradient_accumulation_steps) * num_train_epochs
        if local_rank != -1:
            import datetime
            torch.distributed.init_process_group(backend='nccl',init_method='env://', timeout=datetime.timedelta(0, 1800), world_size=0, rank=0, store=None, group_name='')
            num_train_optimization_steps = num_train_optimization_steps // torch.distributed.get_world_size()
            print(num_train_optimization_steps)

Answer 1

我通過參考https://github.com/NVIDIA/apex/issues/99解決了這個問題。 具體運行

python -m torch.distributed.launch xxx.py

Answer 2

只是更新，而不是運行：

$ python -m torch.distributed.launch --use_env train_script.py

你現在只需要運行：

$ torchrun train_script.py

如此處所示。