受約束的Newton-Raphson估計

Question

我試圖在R使用Newton-Raphson算法來最小化我為一個非常具體的問題寫的對數似然函數。 我會誠實地說，估計方法在我的頭腦中，但我知道我的領域中的許多人（心理測量學）使用NR算法進行估計，所以我試圖使用這種方法，至少開始時。 我有一系列嵌套函數，它們返回一個標量作為特定數據向量的對數似然估計：

log.likelihoodSL <- function(x,sxdat1,item) {
  theta <- x[1]
  rho <- x[2]
  log.lik <- 0
  for (it in 1:length(sxdat1)) {
    val <- as.numeric(sxdat1[it])
    apars <- item[it,1:3]
    cpars <- item[it,4:6]
    log.lik <- log.lik + as.numeric(log.pSL(theta,rho,apars,cpars,val))
  }
  return(log.lik)
}

log.pSL <- function(theta,rho,apars,cpars,val) {
  p <- (rho * e.aSL(theta,apars,cpars,val)) + ((1-rho) * e.nrm(theta,apars,cpars,val))
  log.p <- log(p)
  return(log.p)
}

e.aSL <- function(theta,apars,cpars,val) {
  if (val==1) {
    aprob <- e.nrm(theta,apars,cpars,val)
  } else if (val==2) {
    aprob <- 1 - e.nrm(theta,apars,cpars,val)
  } else
    aprob <- 0
  return(aprob)
}

e.nrm <- function(theta,apars,cpars,val) {
  nprob <- exp(apars*theta + cpars)/sum(exp((apars*theta) + cpars))
  nprob <- nprob[val]
  return(nprob)
}

這些功能都按照呈現的順序依次相互呼叫。 對最高功能的調用如下：

max1 <- maxNR(log.likelihoodSL,grad=NULL,hess=NULL,start=x,print.level=1,sxdat1=sxdat1,item=item)

以下是輸入數據的示例（在本例中我稱之為sxdat1 ）：

> sxdat1
 V1  V2  V3  V4  V5  V6  V7  V8  V9 V10 V11 V12 V13 V14 V15 V16 V17 V18 
  2   1   3   1   3   3   2   2   3   2   2   2   2   2   3   2   3   2 
V19 V20 
  2   2 

這是變量item ：

> item
             V1        V2         V3           V4         V5        V6
 [1,] 0.2494625 0.3785529 -0.6280155 -0.096817808 -0.7549263 0.8517441
 [2,] 0.2023690 0.4582290 -0.6605980 -0.191895013 -0.8391203 1.0310153
 [3,] 0.2044005 0.3019147 -0.5063152 -0.073135691 -0.6061725 0.6793082
 [4,] 0.2233619 0.4371988 -0.6605607 -0.160377714 -0.8233197 0.9836974
 [5,] 0.2257933 0.2851198 -0.5109131 -0.044494872 -0.5970246 0.6415195
 [6,] 0.2047308 0.3438725 -0.5486033 -0.104356236 -0.6693569 0.7737131
 [7,] 0.3402220 0.2724951 -0.6127172  0.050795183 -0.6639092 0.6131140
 [8,] 0.2513672 0.3263046 -0.5776718 -0.056203015 -0.6779823 0.7341853
 [9,] 0.2008285 0.3389165 -0.5397450 -0.103565987 -0.6589961 0.7625621
[10,] 0.2890680 0.2700661 -0.5591341  0.014251386 -0.6219001 0.6076488
[11,] 0.3127214 0.2572715 -0.5699929  0.041587479 -0.6204483 0.5788608
[12,] 0.2697048 0.2965255 -0.5662303 -0.020115553 -0.6470669 0.6671825
[13,] 0.2799978 0.3219374 -0.6019352 -0.031454750 -0.6929045 0.7243592
[14,] 0.2773233 0.2822723 -0.5595956 -0.003711768 -0.6314010 0.6351127
[15,] 0.2433519 0.2632824 -0.5066342 -0.014947878 -0.5774375 0.5923853
[16,] 0.2947281 0.3605812 -0.6553092 -0.049389825 -0.7619178 0.8113076
[17,] 0.2290081 0.3114185 -0.5404266 -0.061807853 -0.6388839 0.7006917
[18,] 0.3824588 0.2543871 -0.6368459  0.096053788 -0.6684247 0.5723709
[19,] 0.2405821 0.3903595 -0.6309416 -0.112333048 -0.7659758 0.8783089
[20,] 0.2424331 0.3028480 -0.5452811 -0.045311136 -0.6360968 0.6814080

我希望最小化函數log.likelihood()的兩個參數是theta和rho，我想將theta限制在-3和3之間，並且rho介於0和1之間，但我不知道如何使用當前設置執行此操作。 有人可以幫幫我嗎？ 我是否需要使用Newton-Raphson方法中的其他估算方法，或者是否有一種方法可以使用函數maxNR實現這一點，該函數來自我目前正在使用的包maxLik ？ 謝謝！

編輯：包含參數theta和rho的起始值的向量x只是c(0,0)因為這是這些參數的“平均”或“默認”假設（就其實質解釋而言）。

Answer 1

數據以更方便的形式：

sxdat1 <- c(2,1,3,1,3,3,2,2,3,2,2,2,2,2,3,2,3,2,2,2)
item <- matrix(c(
0.2494625,0.3785529,-0.6280155,-0.096817808,-0.7549263,0.8517441,
0.2023690,0.4582290,-0.6605980,-0.191895013,-0.8391203,1.0310153,
0.2044005,0.3019147,-0.5063152,-0.073135691,-0.6061725,0.6793082,
0.2233619,0.4371988,-0.6605607,-0.160377714,-0.8233197,0.9836974,
0.2257933,0.2851198,-0.5109131,-0.044494872,-0.5970246,0.6415195,
0.2047308,0.3438725,-0.5486033,-0.104356236,-0.6693569,0.7737131,
0.3402220,0.2724951,-0.6127172,0.050795183,-0.6639092,0.6131140,
0.2513672,0.3263046,-0.5776718,-0.056203015,-0.6779823,0.7341853,
0.2008285,0.3389165,-0.5397450,-0.103565987,-0.6589961,0.7625621,
0.2890680,0.2700661,-0.5591341,0.014251386,-0.6219001,0.6076488,
0.3127214,0.2572715,-0.5699929,0.041587479,-0.6204483,0.5788608,
0.2697048,0.2965255,-0.5662303,-0.020115553,-0.6470669,0.6671825,
0.2799978,0.3219374,-0.6019352,-0.031454750,-0.6929045,0.7243592,
0.2773233,0.2822723,-0.5595956,-0.003711768,-0.6314010,0.6351127,
0.2433519,0.2632824,-0.5066342,-0.014947878,-0.5774375,0.5923853,
0.2947281,0.3605812,-0.6553092,-0.049389825,-0.7619178,0.8113076,
0.2290081,0.3114185,-0.5404266,-0.061807853,-0.6388839,0.7006917,
0.3824588,0.2543871,-0.6368459,0.096053788,-0.6684247,0.5723709,
0.2405821,0.3903595,-0.6309416,-0.112333048,-0.7659758,0.8783089,
0.2424331,0.3028480,-0.5452811,-0.045311136,-0.6360968,0.6814080),
               byrow=TRUE,ncol=6)

使用maxNR ：

library(maxLik)
x <- c(0,0)
max1 <- maxNR(log.likelihoodSL,grad=NULL,hess=NULL,start=x,
              print.level=1,sxdat1=sxdat1,item=item)

注意當rho徘徊為負時發生的警告。 但是， maxNR可以從中恢復並獲得可行集內部的估計值（theta = -1，rho = 0.63）。 L-BFGS-B無法處理非有限的中間結果，但是邊界使算法遠離那些有問題的區域。

我選擇使用bbmle而不是optim來執行此bbmle ： bbmle是optim （和其他優化工具）的包裝器，它提供了一些特定於似然估計的特性（分析，置信區間，模型之間的似然比測試等）。

library(bbmle)

## mle2() wants a NEGATIVE log-likelihood
NLL <- function(x,sxdat1,item) {
    -log.likelihoodSL(x,sxdat1,item)
}

編輯 ：在早期版本中，我使用control=list(fnscale=-1)告訴優化器我正在傳遞一個應該最大化而不是最小化的對數似然函數; 這得到了正確的答案，但隨后嘗試使用結果可能會變得非常混亂，因為包不能解釋這種可能性（例如，報告的對數似然的符號是錯誤的）。 這可以在包中修復，但我不確定它是否值得。

## needed when objective function takes a vector of args rather than
##  separate named arguments:
parnames(NLL) <- c("theta","rho")
(m1 <- mle2(NLL,start=c(theta=0,rho=0.5),method="L-BFGS-B",
     lower=c(theta=-3,rho=2e-3),upper=c(theta=3,rho=1-2e-3),
     data=list(sxdat1=sxdat1,item=item)))

這里有幾點：

• 從rho=0.5開始而不是在邊界上
• 在[0,1]內稍微設置rho邊界（當計算導數的有限差分近似時， L-BFGS-B並不總是完全尊重邊界）
• 在data參數中指定輸入數據

在這種情況下，我得到與maxNR相同的結果。

 ## Call:
 ## mle2(minuslogl = NLL, start = c(theta = 0, rho = 0.5), 
 ##     method = "L-BFGS-B", data = list(sxdat1 = sxdat1, item = item), 
 ##     lower = c(theta = -3, rho = 0.002), upper = c(theta = 3, 
 ##         rho = 1 - 0.002), control = list(fnscale = -1))
 ## 
 ## Coefficients:
 ##      theta        rho 
 ## -1.0038531  0.6352782 
 ## 
 ## Log-likelihood: -18.11 

除非你真的需要用Newton-Raphson來做這個，而不是用基於漸變的“准牛頓”方法，我猜這很好。 （這聽起來像你有很強的技術理由這樣做，除了“這是其他人在我的領域做的事情” - 一個很好的理由，所有其他事情都是平等的，但在這種情況下不足以讓我挖當類似的方法很容易獲得並且工作正常時，可以實施NR。）