機器學習中權重和偏差背后的直覺是什么？

Question

這個問題是從 Stack Overflow 遷移過來的，因為它可以在 Cross Validated 上得到回答。 3 天前遷移。

我很難理解權重和偏差在神經網絡中的含義以及它們如何幫助神經網絡做出正確的預測。 我知道回溯如何改變權重和偏差，但它們的價值意味着什么以及它的意義是什么。

Answer 1

每個機器學習模型都有一些特征$\\mathbf{x} = (x_1, x_2, \\dots, x_k)$ 。 這些特征可能來自數據，或者由模型本身生成（神經網絡前一層的輸出）。 不同的模型有不同的方式來使用這些特征來從特征中學習模式並能夠做出預測。 一些模型，如線性回歸、廣義線性模型（包括邏輯回歸）、支持向量機或神經網絡，通過在某些點使用特征的線性組合來進行預測

$$ \\boldsymbol{w}^T\\mathbf{x} + b = w_1 x_1 + w_2 x_2 + \\dots + w_k x_k + b $$

我們稱我們將特征乘以$\\boldsymbol{w} = (w_1, w_2, \\dots, w_k)$的參數為權重，而我們為它們添加偏差的參數為 $b$ 。 您還可以看到權重被稱為參數（這也可能包括偏差），回歸模型（線性回歸，GLM）中的偏差項傳統上稱為截距。

權重控制特征對輸出的影響程度（通過將其乘以一個值），而偏差通過向上移動（添加一個正常數）或向下移動（添加一個正常數）來幫助確保結果平均不會太大或太小負常數，所以減去一個常數）。 您通常希望在模型中使用偏差項。

這是機器學習中經常使用的基本構建塊。 許多模型遵循特征與非線性函數的線性組合（GLM、SVM、神經網絡）。 一些模型（神經網絡）可以在不同的地方多次使用這樣的塊。 最后，還有使用非線性函數（例如非線性回歸）的模型，其中權重是更復雜函數的學習參數。