梯度下降不會更新theta值

Question

如以下所述使用梯度的矢量化版本： 梯度下降似乎失敗

theta = theta - (alpha/m *  (X * theta-y)' * X)';

theta值不會被更新，因此無論初始theta值如何，這都是在運行梯度下降后設置的值：

example1：

m = 1
X = [1]
y = [0]
theta = 2
theta = theta - (alpha/m .* (X .* theta-y)' * X)'

theta =

    2.0000

example2：

m = 1
X = [1;1;1]
y = [1;0;1]
theta = [1;2;3]
theta = theta - (alpha/m .* (X .* theta-y)' * X)'

theta =

    1.0000
    2.0000
    3.0000

是theta = theta - (alpha/m * (X * theta-y)' * X)'; 梯度下降的正確矢量化實現？

Answer 1

theta = theta - (alpha/m * (X * theta-y)' * X)'; 確實是梯度下降的正確向量化實現。

您完全忘記了設置學習率alpha 。

設置alpha = 0.01 ，您的代碼變為：

m = 1                # number of training examples
X = [1;1;1]
y = [1;0;1]
theta = [1;2;3]
alpha = 0.01
theta = theta - (alpha/m .* (X .* theta-y)' * X)'
theta =

   0.96000
   1.96000
   2.96000