使用Multi-gpu時成員變量的Pytorch錯誤值

Question

這是一個在多GPU環境中運行的簡單類。 第一次迭代后，成員變量self.firstIter應該為False 。

Class TestNetwork(nn.Module):

    def __init__(self):
        super(TestNetwork, self).__init__()
        self.firstIter = True #indicates whether it's the first iteration

    def forward(self, input):
        print 'is firstIter: ', self.firstIter #always True!!
        if self.firstIter is True:
            self.firstIter = False
        # do otherthings

僅使用一個GPU時，代碼可以按預期工作。

然而，使用多GPU（即，當nn.DataParallel ），的值self.firstIter總是打印為True 。

為什么會這樣？ 代碼有什么問題？

使用PyTorch版本0.3.1。

Answer 1

基本上，DataParallel對模型副本進行操作，並且如果副本數大於1，則在向前/向后調用之外看不到對副本所做的更改（在向前過程中）。

請參閱https://discuss.pytorch.org/t/nonetype-attribute-when-using-dataparallel/11566了解詳情。