Tensorflow GradientTape“渐变不存在变量”间歇性

Question

在训练我的网络时，我偶尔会遇到以下警告：

W0722 11:47:35.101842 140641577297728 optimizer_v2.py:928] Gradients does not exist for variables ['model/conv1d_x/Variable:0'] when minimizing the loss.

这种情况很少发生（可能每 20 步成功执行一次）。 我的 model 基本上有两条路径，它们在网络中的各个位置连接在一起。 为了说明这一点，这里有一个简化的例子来说明我的意思。

 class myModel(tf.keras.Model): def __init__(self): self.conv1 = Conv2D(32) self.conv2 = Conv2D(32) self.conv3 = Conv2D(16) def call(self, inputs): net1 = self.conv1(inputs) net2 = self.conv2(inputs) net = tf.concat([net1, net2], axis=2) net = self.conv3(net) end_points = tf.nn.softmax(net) model = myModel() with tf.GradientTape() as tape: predicition = model(image) loss = myloss(labels, prediction) gradients = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(gradients, model.trainable_variables))

实际上，我的网络要大得多，但通常没有梯度的变量往往是网络顶部的变量。 在每个Conv2D层之前，我还有一个自定义渐变。 有时当我出现错误时，我会注意到尚未调用该层的渐变 function。

我的问题是，当通过我的网络向后传播时，渐变磁带有时如何采取看似不同的路径。 我的第二个问题是，这是由于通过我的网络有两条单独的路由（即 conv1 和 conv2）造成的。 这种网络架构是否存在根本缺陷？

理想情况下，我可以向GradientTape()定义它必须找到每个顶层的渐变吗？

Answer 1

我遇到了一个看起来相似的问题 - 可能会有所帮助或不确定，具体取决于您的网络实际上是什么样的，但基本上，我有一个多输出网络，我意识到当我分别应用与输出相对应的渐变时，所以对于每个单独的损失，都有一个梯度为零的网络分支，但这是完全有效的，并且每次都对应于非目标输出之前的终端层。 出于这个原因，我最终用 tf.zeros_like 替换了任何 None 梯度，并且可以继续训练。 如果网络的多个输入头始终位于图表的顶部，您是否会遇到同样的问题？

（下面 Nguyễn Thu 的 ETA 解决方案是我在上面描述的代码版本 - 与我处理它的方式完全相同）

我已经看到其他没有计算梯度的答案，因为默认情况下不监视张量 - 你必须添加它们，但看起来这不是你的问题，因为你应该只处理 model.trainable_variables，或者你的 myLoss function根据您的批次组成，偶尔会获得 NaN 结果或转换为 numpy 数组，这可以解释零星的性质（例如，如果您的数据非常不平衡，可能是在没有少数 class 实例的批次上？）

Answer 2

Nguyễn 和 gkennos 给出的解决方案将抑制错误，因为它将所有None替换为零。 但是，您的梯度在任何时间点都是 null 是一个大问题。 上面描述的问题肯定是由unconnected variables引起的（默认PyTorch会抛出运行时错误）。

最常见的未连接层的情况可以举例如下：

 def some_func(x): x1 = x * some variables x2 = x1 + some variables #x2 discontinued after here x3 = x1 / some variables return x3

现在观察x2是未连接的，所以梯度不会被传播。 仔细调试未连接变量的代码。

Answer 3

如果预期缺少渐变，则可以通过以下解决方法抑制此警告：

 optimizer.apply_gradients( (grad, var) for (grad, var) in zip(gradients, model.trainable_variables) if grad is not None )

Answer 4

我有同样的问题。 找到自定义渐变的解决方案

 def _compute_gradients(tensor, var_list): grads = tf.gradients(tensor, var_list) return [grad if grad is not None else tf.zeros_like(var) for var, grad in zip(var_list, grads)]

来自github 故障排除

Answer 5

渐变磁带的gradient方法有一个unconnected_gradients参数，允许您指定未连接的渐变应该是None还是Zero 。 请参阅文档： https://www.tensorflow.org/api_docs/python/tf/GradientTape#gradient

所以你可以改变这一行：

 gradients = tape.gradient(loss, model.trainable_variables)

至

gradients = tape.gradient(loss, model.trainable_variables, unconnected_gradients=tf.UnconnectedGradients.ZERO)

这对我有用。

编辑 - 重要提示：如果您实际上希望某些渐变为零，这只是一个解决方案。 如果错误是由于反向传播损坏造成的，这不是解决方案。 在这种情况下，您需要找到并修复它被破坏的地方。

Answer 6

我也遇到了同样的错误。 这是因为我在tape.gradient() function 中给出了错误的可训练变量。 如果它可以帮助某人。

在我的示例self.encoder_model.get_trainable_variables()没有返回好的变量：

 @tf.function def train_step(x_batch): with tf.GradientTape() as tape: loss = self.encoder_model.loss.compute_loss(x_batch) gradients = tape.gradient(loss, self.encoder_model.get_trainable_variables()) self.optimizer.apply_gradients(zip(gradients, self.encoder_model.get_trainable_variables()))

Answer 7

没有梯度，因为变量不会影响答案。 在此代码中，调用 function 缺少返回

class myModel(tf.keras.Model): def __init__(self): self.conv1 = Conv2D(32) self.conv2 = Conv2D(32) self.conv3 = Conv2D(16) def call(self, inputs): net1 = self.conv1(inputs) net2 = self.conv2(inputs) net = tf.concat([net1, net2], axis=2) net = self.conv3(net) return end_points = tf.nn.softmax(net) # Change this line