使用多项式提高 Neural.network 精度

Question

我是 Neural.networks 背后的理论和历史的新手，并且了解到我们的主要神经元激活 function 是一个线性表达式，其形式为

w1 x1 + w2 x2 + w3 x3 +...+b

我的问题是为什么不使用更高次的多项式表达式呢？ 那就像

a1 (w1 x1 + w2 x2 + w3 x3...+b)^n + a2(w1 x1 + w2 x2 + w3 x3...+b)^(n-1) + a3(w1 x1 + w2 x2 + w3 x3...+b)^(n-2)+...+an

假设理想的无限计算，这会提高准确性吗？如果这个问题听起来很愚蠢，我很抱歉

Answer 1

这实际上是GMDH .networks 的一个积极研究领域，其中熟悉的加权和被 Kolmogorov-Gabor 多项式传递函数所取代。 使用多维数据时，具有所有交叉项的“完整”多项式会变得非常大。 在训练 GMDH.network 的过程中，形式的多项式

是自适应形成的，附加交叉项直到达到目标复杂性。 这很好，因为它与输入数据中的（未知）交叉依赖性一起工作，并防止过拟合和欠拟合。 然而，正确设计和实施确实要求很高。 此外，数学涉及更多，导致计算时间更长。

另一方面，“普通”人工神经网络带有 通用逼近定理，它允许它们（近似地）适合任意任意 function。这使它们易于设计，因为您实际上不必考虑形状（甚至维度）你想要适应的 function。 我不认为 UAT 已被证明适用于 GMDH.networks（尚未），这限制了它们的应用。

所以，有点，是的。 考虑到无限的计算和完美的设计，您可能可以设计出更好的网络，使用更多涉及的传递函数，但由于它们的设计非常容易，加权和公式无处不在。