如何可视化喀拉拉邦的错误表面？

Question

我们在许多书中都看到了带有全局最小值的错误表面的漂亮图片，以及神经网络的收敛。 如何在keras中可视化类似的东西，即包含错误表面，以及我的模型如何收敛以实现全局最小错误？ 以下是此类插图的示例图像。 并且此链接具有不同优化器的动画插图。 我为此目的探索了tensorboard日志回调，但是找不到任何这样的东西。 一点指导将不胜感激。

Answer 1

这些图片和动画是为实现双重目的而制作的，但是错误的表面是完全未知的（或者难以理解或可视化）。 这就是使用梯度下降的全部思想。

我们仅通过获得电流梯度在单个点上就知道函数增加的方向。

您可以尝试通过获取每次迭代的权重值和错误来绘制所遵循的方式（线），但是随后您将面临另一个问题：这是一个大规模的多维函数。 它实际上不是表面。 变量数是您在模型中拥有的权重数（通常为数千甚至数百万）。 绝对不可能将其可视化甚至设想为视觉对象。

要绘制这样的表面，您必须手动更改所有数千个权重以获取每种布置的误差。 除了“无法可视化”问题之外，这还将非常耗时。