梯度下降Matlab

Question

我在Matlab中有梯度下降問題。 我不知道如何建立功能。

默認設置：

  max_iter = 1000;
  learing = 1;
  degree = 1;

我的邏輯回歸成本函數：（正確???）

function [Jval, Jgrad] = logcost(function(theta, matrix, y)
 mb = matrix * theta;
 p = sigmoid(mb);

 Jval = sum(-y' * log(p) - (1 - y')*log(1 - p)) / length(matrix);

if nargout > 1
    Jgrad = matrix' * (p - y) / length(matrix);
end

現在是我的梯度下降函數：

function [theta, Jval] = graddescent(logcost, learing, theta, max_iter)

[Jval, Jgrad] = logcost(theta);
for iter = 1:max_iter 
  theta = theta - learing * Jgrad; % is this correct?
  Jval[iter] = ???

end

謝謝所有的幫助:)，漢斯

Answer 1

您可以在常規的matlab函數中指定cost函數的代碼：

function [Jval, Jgrad] = logcost(theta, matrix, y)
    mb = matrix * theta;
    p = sigmoid(mb);

    Jval = sum(-y' * log(p) - (1 - y')*log(1 - p)) / length(matrix);

    if nargout > 1
        Jgrad = matrix' * (p - y) / length(matrix);
    end
end

然后，創建您的梯度下降方法（每次循環迭代都會自動更新Jgrad ）：

function [theta, Jval] = graddescent(logcost, learing, theta, max_iter)
    for iter = 1:max_iter 
        [Jval, Jgrad] = logcost(theta);
        theta = theta - learing * Jgrad;
    end
end

並使用可用於評估費用的函數對象進行調用：

% Initialize 'matrix' and 'y' ...
matrix = randn(2,2);
y = randn(2,1);

% Create function object.
fLogcost = @(theta)(logcost(theta, matrix, y));

% Perform gradient descent.
[ theta, Jval] = graddescent(fLogcost, 1e-3, [ 0 0 ]', 10);

您還可以看一下fminunc，它是Matlab用於函數優化的方法所內置的，其中包括梯度下降的實現以及其他最小化技術。

問候。