如何使用optmi方法渐变function？

Question

如何使用 optim() 方法的梯度将 $f(x) = ax^2+bx+c$ 拟合到给定的 (x,y) 数据集？ 我已经搜索了几个小时，但没有找到合适的解释。 $

我相信梯度 function 在上述情况下应该返回一个长度为 3 的向量：拟合度量相对于 $a$，然后相对于 $b$，然后相对于 $c$ 的偏导数。 但我不确定如何执行。

我有以下 $f(x) = ax^2+bx+c$ 的输入，我的渐变 function 是否正确？

{r linewidth=80}
x=c(1:10)
y=c(-0.2499211,-4.6645685,-2.6280750,-2.0146818,1.5632500,0.2043376,2.9151158,  4.0967775,6.8184074,12.5449975)
#find min square distance
my.fit.fun = function(my.par)
{
  sum(sqrt(abs(my.par[1]*x^2+my.par[2]*x+my.par[3]-y^2)))               
}

gradient=function(my.par){
  c(my.par[1]*2,my.par[2],0)
}

optim.out = optim(c(0.2,-4,-5),fn=my.fit.fun, gr=gradient, method = "BFGS")

Answer 1

首先，我更喜欢对 function 使用平方和，而不是绝对值。 您可以执行以下操作：

x <- 1:10
y < c(-0.2499211,-4.6645685,-2.6280750,-2.0146818,1.5632500,0.2043376,2.9151158,  4.0967775,6.8184074,12.5449975)

d <- data.frame(x,y)

fun <- function(par, data){
  y_hat <- data$x^2 * par[1] + data$x * par[2] + par[3]
  sum((data$y - y_hat)^2)
}

optim(c(0.2,-4,-5), fun, data = d)
$par
[1]  0.2531111 -1.3135297 -0.6618520

$value
[1] 17.70251

$counts
function gradient 
     176       NA 

$convergence
[1] 0

$message
NULL

我不会使用optim ，而是使用nls 。 在这里，您只需提供公式。 在这种情况下，我们将有：

nls(y~ a * x^2 + b * x + c, d, c(a=0.2, b=-4, c=-5))
Nonlinear regression model
  model: y ~ a * x^2 + b * x + c
   data: d
      a       b       c 
 0.2532 -1.3147 -0.6579 
 residual sum-of-squares: 17.7

Number of iterations to convergence: 1 
Achieved convergence tolerance: 2.816e-08

另外，为什么要从0.2,-4, -5任何先验知识开始？ 例如，如果您在 optim 中使用 0,0,0，您将获得nls结果

编辑：

既然你想要 BFGS 方法，你可以这样做：

fun <- function(par, data){
  y_hat <- data$x^2 * par[1] + data$x * par[2] + par[3]
  sum((y_hat - data$y)^2)
}

grad <- function(par, data){
  y_hat <-  data$x^2 * par[1] + data$x * par[2] + par[3]
  err <- data$y - y_hat
  -2 * c(sum(err * data$x^2), sum(err * data$x), sum(err))
}
 optim(c(0.2,-4,-5), fun, grad,data = d, method = "BFGS")
$par
[1]  0.2531732 -1.3146636 -0.6579553

$value
[1] 17.70249

$counts
function gradient 
      38        7 

$convergence
[1] 0

$message
NULL