为什么多元线性回归的性能比神经网络好得多？

Question

我正在使用以下示例训练数据解决八个输入和一个 output 的问题。 https://i.stack.imgur.com/F3iyB.png

我使用了两种方法来尝试使用神经网络 (NN) 和多线性回归 (MLR) 来解决这个问题。 并且使用 MLR 的预测结果大大优于 NN。 我几乎对 NN 进行了所有尝试，例如网格搜索以找到最佳“设置”，并进行了大量试验和错误，但仍然无法让 model 执行。

（蓝线是预测，橙线是目标），完美的 model 将完美地拟合两条线。

使用 MLR 的结果：

https://i.stack.imgur.com/UDl5i.png

使用 NN 的结果：

https://i.stack.imgur.com/oYm0O.png

我并不是真的在寻找修复 NN 的答案，而是更多地解释为什么会发生这种情况。

Answer 1

研究过度拟合或偏差/方差权衡。 一般来说，更复杂的模型需要更多的数据来训练。 如果您的数据点太少，那么 model 将记住数据集而不是学习其中的模式