Tensorflow 优化器有负反馈？

Question

我正在优化tensorflow model。 它不是神经网络，我只是使用tensorflow进行简单的导数计算。 无论如何，似乎损失表面在某处有一个陡峭的边缘，我的损失有时会“弹出”它当前目标的局部最小值，损失将 go 上升很多，优化器将 go 加速其他一些最佳选择。

我希望它不做那件事。 具体来说，我希望它看到损失，就像“刚刚上涨了一大堆的废话，我最好回溯一下。” 尽管当前梯度可能想将其发送到其他地方，但我希望它在某种意义上“返回”，并继续尝试找到它之前定位的最佳值。 是否有 tensorflow 优化器以这种方式具有某种“负反馈”？

Answer 1

你可以做一个向前传球，检查损失，然后如果你认为损失是可以接受的，就向后做。 在 TF 1.x 中，它需要一些tf.cond和手动计算和应用梯度。 在 TF 2.0 中相同，只是控制流更容易，但您必须使用gradient_tape并且仍然手动应用渐变。