如果您有多个神经网络，PyTorch 如何知道训练损失应传播回哪个神经网络？

Question

我想在另外两个已经训练和测试过的神经网络的帮助下训练一个神经网络。 我要训练的网络的输入同时输入到第一个 static 网络。 我要训练的网络的 output 输入到第二个 static 网络。 损失应在 static 网络的输出上计算并传播回火车网络。

# Initialization
var_model_statemapper = NeuralNetwork(9, [('linear', 9), ('relu', None), ('dropout', 0.2), ('linear', 8)])

var_model_panda = NeuralNetwork(9, [('linear', 9), ('relu', None), ('dropout', 0.2), ('linear', 27)])
var_model_panda.load_state_dict(torch.load("panda.pth"))

var_model_ur5 = NeuralNetwork(8, [('linear', 8), ('relu', None), ('dropout', 0.2), ('linear', 24)])
var_model_ur5.load_state_dict(torch.load("ur5.pth"))

var_loss_function = torch.nn.MSELoss()
var_optimizer = torch.optim.Adam(var_model_statemapper.parameters(), lr=0.001)

# Forward Propagation
var_panda_output = var_model_panda(var_statemapper_input)
var_ur5_output = var_model_ur5(var_statemapper_output)
var_train_loss = var_loss_function(var_panda_output, var_ur5_output)

# Backward Propagation
var_optimizer.zero_grad()
var_train_loss.backward()
var_optimizer.step()

您可以看到“var_model_statemapper”是要训练的网络。 网络“var_model_panda”和“var_model_ur5”被初始化，它们的state_dicts正在从相应的“.pth”文件中读取，所以这些网络需要是static。 我的主要问题是，哪些网络在反向传播中更新？ 只是“var_model_statemapper”还是所有网络？ 如果“var_model_statemapper”没有更新，我该如何实现呢？ PyTorch 仅从优化器的初始化就知道要更新哪个网络吗？

Answer 1

正式化您的管道以更好地了解设置：

x --- | state_mapper | --> y --- | ur5 | --> ur5_out
 \                                              |
  \                                             ↓
   \--- | panda | --> panda_out ----------- | loss_fn | --> loss

这是您提供的行发生的情况：

var_optimizer.zero_grad()  # 0.
var_train_loss.backward()  # 1.
var_optimizer.step()       # 2.

0. 在优化器上调用zero_grad将清除该优化器中包含的所有参数梯度的缓存。 在您的情况下，您已使用来自var_model_statemapper的参数（您要优化的var_optimizer ）注册了 var_optimizer。

1. 当您通过backward调用推断损失并对其进行反向传播时，梯度将通过所有三个模型的参数传播。

2. 然后在优化器上调用step将更新在你调用它的优化器中注册的参数。 在您的情况下，这意味着var_optimizer.step()将使用步骤1中计算的梯度单独更新 model var_model_statemapper的所有参数。（即使用对var_train_loss的backward调用）。

总而言之，您当前的方法只会更新var_model_statemapper的参数。 理想情况下，您可以通过将模型var_model_panda和var_model_ur5的参数的requires_grad标志设置为False来冻结模型。 这将节省推理和训练的速度，因为在反向传播期间不会计算和存储它们的梯度。