Adam 优化器在几乎相同的 model 上花费更长的时间来应用梯度

Question

我有两个几乎是镜面反射的模型，如果不是最后一层的话，其中一个是Dense(1, "linear")而另一个是Dense(4, "softmax") .. 代码如下：

gradient_agent = tape.gradient(loss_agent, agent.trainable_weights)
gradient_value = tape.gradient(loss_value, value.trainable_weights)

# do something to the gradients

optimizer_agent.apply_gradients(zip(gradient_agent, agent.trainable_weights))
optimizer_value.apply_gradients(zip(gradient_value, value.trainable_weights))

但是，当我分析我的代码时，我得到以下统计信息：

% Time       | Line
    29.3     |  optimizer_agent.apply_gradients(zip(gradient_agent, agent.trainable_weights))
    1.6      |  optimizer_value.apply_gradients(zip(gradient_value, value.trainable_weights))

现在，我想知道为什么应用第一个渐变需要这么多时间...这似乎是一些 TF 优化，因为如果我切换行，现在应用另一个渐变很慢，但是这段代码不在@tf.function所以我想知道发生了什么

Answer 1

由于您可以交换两者的顺序并且第一个执行的时间仍然很长，所以我会说 adam 优化器或您的代码没有任何问题。

懒惰与急切的效果可能会导致您的计时器测量第一次调用优化器时包含的所有准备工作。

我暂时忽略这一点或尝试以其他方式进行优化。 如果您认为其他优化器同样有效，您可以尝试它们。