繁体   English   中英

ValueError:使用 env://rendezvous 初始化 torch.distributed 时出错:预期环境变量 MASTER_ADDR,但未设置

ValueError: Error initializing torch.distributed using env:// rendezvous: environment variable MASTER_ADDR expected, but not set

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我无法在 PyTorch 中为我尝试使用以下代码初始化的 BERT 模型初始化组进程:

import torch
import datetime

torch.distributed.init_process_group(
    backend='nccl',
    init_method='env://',
    timeout=datetime.timedelta(0, 1800),
    world_size=0,
    rank=0,
    store=None,
    group_name=''
)

并尝试访问get_world_size()函数:

num_train_optimization_steps = num_train_optimization_steps // torch.distributed.get_world_size()

完整代码:

train_examples = None
    num_train_optimization_steps = None
    if do_train:
        train_examples = processor.get_train_examples(data_dir)
        num_train_optimization_steps = int(
            len(train_examples) / train_batch_size / gradient_accumulation_steps) * num_train_epochs
        if local_rank != -1:
            import datetime
            torch.distributed.init_process_group(backend='nccl',init_method='env://', timeout=datetime.timedelta(0, 1800), world_size=0, rank=0, store=None, group_name='')
            num_train_optimization_steps = num_train_optimization_steps // torch.distributed.get_world_size()
            print(num_train_optimization_steps)
1 个回复

我通过参考https://github.com/NVIDIA/apex/issues/99解决了这个问题。 具体运行

python -m torch.distributed.launch xxx.py
1 Fastlane没有初始化环境变量--env

我在我的iOS应用程序中使用fastlane。 在这种情况下,我有一个包含多个目标的xcode项目。 因此我想在fastlane中使用一些不同的变量。 但是,变量未初始化。 我为每个目标设置了自定义.env文件。 例如Target1的.env文件: .env文件名为.env ...

3 在grunt-env中未设置环境变量

有没有办法用grunt-env取消设置环境变量? 我知道我可以从模块中设置它们,甚至还有一种方法可以将它们设置为不存在的值。 但是, 该项目的GitHub页面似乎未显示如何取消设置它们。 如果还包括仅在变量已设置的情况下取消设置的方法,则任何解决方案都会更好。 也欢迎其他模块的建议。 ...

8 Hadoop环境变量:何时初始化?

使用HDP Sandbox虚拟机或安装多节点群集(CentOS 6.5)来使用Hortonworks HDP 2.1(Hadoop 2.40)。 Hadoop本身可以正常运行,所有Java MapReduce程序,Pig,Hive和HBase都可以正常运行。 当我以SSH用户身份(以ro ...

9 在Travis CI上不使用Matrix时,“未设置环境变量”

我们减少了在Travis CI上测试ARM64的支持。 我们还停止使用标准Matrix,而改用专有的include:来减少不必要的工作。 避免matrix:和使用include:保存25至50不需要的作业。 更改测试的结果可在此处获得 。 大约8个作业在配置中失败,并显示错误“未设置 ...

10 PHP CURL使用的是我未设置的环境变量

我正在使用WAMP。 在过去的几周里,我竭尽全力使php和curl在公司代理后面工作,最后我做到了: 公司代理后面的Apache 问题是现在我不能让他们在家工作! (当然,最初他们是在没有代理的情况下在家工作)。 当我从php运行CURL命令时,出现以下错误: Curl error: ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM