如何在R中找到二阶导数以及如何使用牛顿法和数值导数

Question

标度参数为1的伽马分布的对数似然可写为：

(α−1)s−nlogΓ(α)其中，α是形状参数，而s=∑logXi是足够的统计量。

随机绘制形状参数为alpha = 4.5的n = 30的样本。 使用newton_search和make_derivative ，找到alpha的最大似然估计。 使用alpha的矩估计量，即x的平均值作为初始猜测。 R中的对数似然函数为：

x <- rgamma(n=30, shape=4.5)
gllik <- function() {
  s <- sum(log(x))
  n <- length(x)
  function(a) {
    (a - 1) * s - n * lgamma(a)
    }
}

我创建了make_derivative函数，如下所示：

make_derivative <- function(f, h) {
  (f(x + h) - f(x - h)) / (2*h)
}

我还创建了一个newton_search结合了功能make_derivative功能; 但是，我需要在对数似然函数的二阶导数上使用newton_search ，但我不确定如何修复以下代码才能做到这一点：

newton_search2 <- function(f, h, guess, conv=0.001) {
    set.seed(2)  
    y0 <- guess
    N = 1000
    i <- 1; y1 <- y0
    p <- numeric(N)
  while (i <= N) {
    make_derivative <- function(f, h) {
  (f(y0 + h) - f(y0 - h)) / (2*h)
    }
    y1 <- (y0 - (f(y0)/make_derivative(f, h)))
    p[i] <- y1
    i <- i + 1
    if (abs(y1 - y0) < conv) break
    y0 <- y1
  }
  return (p[(i-1)])
}

提示：您必须将newton_search应用于对数似然的一阶和二阶导数（使用make_derivative通过数字make_derivative ）。 您的答案应该在4.5附近。

当我运行newton_search2(gllik(), 0.0001, mean(x), conv = 0.001) ，得到的答案应该是newton_search2(gllik(), 0.0001, mean(x), conv = 0.001)两倍。

Answer 1

我重新编写了代码，现在它可以完美运行（甚至比我最初写的还要好）。 感谢所有的帮助。 :-)

newton_search <- function(f, df, guess, conv=0.001) {
    set.seed(1)
    y0 <- guess
    N = 100
    i <- 1; y1 <- y0
    p <- numeric(N)
  while (i <= N) {
    y1 <- (y0 - (f(y0)/df(y0)))
    p[i] <- y1
    i <- i + 1
    if (abs(y1 - y0) < conv) break
    y0 <- y1
  }
  return (p[(i-1)])
}

make_derivative <- function(f, h) {
  function(x){(f(x + h) - f(x - h)) / (2*h)
  }
}

df1 <- make_derivative(gllik(), 0.0001)
df2 <- make_derivative(df1, 0.0001)
newton_search(df1, df2, mean(x), conv = 0.001)