R：快速多變量優化包？

Question

我期待找到4個變量的標量函數的局部最小值，並且我對變量有范圍約束（“框約束”）。 函數導數沒有封閉形式，因此需要分析導數函數的方法是不可能的。 我用optim函數嘗試了幾個選項和控制參數，但所有這些參數看起來都很慢。 具體來說，他們似乎在調用我的（R定義的）目標函數之間花了很多時間，所以我知道瓶頸不是我的目標函數，而是調用我的目標函數之間的“思考”。 我看着CRAN任務視圖進行優化，並試圖幾個的那些選項（ DEOptim從RcppDE等），但沒有人似乎有什么好處。 我本來想嘗試nloptr包（NLOPT庫的R包裝器），但它似乎不適用於Windows。

我想知道，有沒有任何好的，快速的優化套件供人們使用，我可能會丟失？ 理想情況下，這些將是圍繞優秀的C ++ / Fortran庫的薄包裝形式，因此最小的純R代碼。 （雖然這不應該是相關的，但是在嘗試將4參數分布擬合到一組值時，通過最小化某個擬合優度度量，我的優化問題出現了）。

在過去，我發現R的優化庫非常慢，最后編寫了一個瘦R包裝器來調用商業優化庫的C ++ API。 那么最好的圖書館必然是商業圖書館嗎？

UPDATE。 這是我正在查看的代碼的簡化示例：

###########
## given a set of values x and a cdf, calculate a measure of "misfit":
## smaller value is better fit
## x is assumed sorted in non-decr order;
Misfit <- function(x, cdf) {
  nevals <<- nevals + 1
  thinkSecs <<- thinkSecs + ( Sys.time() - snapTime)
  cat('S')
  if(nevals %% 20 == 0) cat('\n')
  L <- length(x)
  cdf_x <- pmax(0.0001, pmin(0.9999, cdf(x)))
  measure <- -L - (1/L) * sum( (2 * (1:L)-1 )* ( log( cdf_x ) + log( 1 - rev(cdf_x))))
  snapTime <<- Sys.time()
  cat('E')
  return(measure)  
}
## Given 3 parameters nu (degrees of freedom, or shape), 
## sigma (dispersion), gamma (skewness),
## returns the corresponding 4-parameter student-T cdf parametrized by these params
## (we restrict the location parameter mu to be 0).
skewtGen <- function( p ) {
  require(ghyp)
  pars = student.t( nu = p[1], mu = 0, sigma = p[2], gamma = p[3] )
  function(z) pghyp(z, pars)
}

## Fit using optim() and BFGS method
fit_BFGS <- function(x, init = c()) {
  x <- sort(x)
  nevals <<- 0
  objFun <- function(par) Misfit(x, skewtGen(par))
  snapTime <<- Sys.time() ## global time snap shot
  thinkSecs <<- 0 ## secs spent "thinking" between objFun calls
  tUser <- system.time(
              res <- optim(init, objFun,
                           lower = c(2.1, 0.1, -1), upper = c(15, 2, 1),
                           method = 'L-BFGS-B',
                           control = list(trace=2, factr = 1e12, pgtol = .01 )) )[1]
  cat('Total time = ', tUser, 
      ' secs, ObjFun Time Pct = ', 100*(1 - thinkSecs/tUser), '\n')
  cat('results:\n')
  print(res$par)
}

fit_DE <- function(x) {
  x <- sort(x)
  nevals <<- 0
  objFun <- function(par) Misfit(x, skewtGen(par))
  snapTime <<- Sys.time() ## global time snap shot
  thinkSecs <<- 0 ## secs spent "thinking" between objFun calls
  require(RcppDE)
  tUser <- system.time(
              res <- DEoptim(objFun,
                             lower = c(2.1, 0.1, -1),
                             upper = c(15, 2, 1) )) [1]
  cat('Total time = ',             tUser,
      ' secs, ObjFun Time Pct = ', 100*(1 - thinkSecs/tUser), '\n')
  cat('results:\n')
  print(res$par)
}

讓我們生成一個隨機樣本：

set.seed(1)
# generate 1000 standard-student-T points with nu = 4 (degrees of freedom)
x <- rt(1000,4)

首先使用ghyp包中的fit.tuv （用於“T UniVariate”）函數進行ghyp - 這使用最大似然期望最大化（EM）方法。 這很快就邪惡！

require(ghyp)
> system.time( print(unlist( pars <- coef( fit.tuv(x, silent = TRUE) ))[c(2,4,5,6)]))
         nu          mu       sigma       gamma 
 3.16658356  0.11008948  1.56794166 -0.04734128 
   user  system elapsed 
   0.27    0.00    0.27 

現在我試圖以不同的方式擬合分布：通過最小化上面定義的“misfit”度量，使用基數R中的標准optim()函數。注意，結果通常不會相同。 我這樣做的原因是將這兩個結果與一整類情況進行比較。 我將上述最大似然估計作為此優化的起點。

> fit_BFGS( x, init = c(pars$nu, pars$sigma, pars$gamma) )
N = 3, M = 5 machine precision = 2.22045e-16
....................
....................
.........
iterations 5
function evaluations 7
segments explored during Cauchy searches 7
BFGS updates skipped 0
active bounds at final generalized Cauchy point 0
norm of the final projected gradient 0.0492174
final function value 0.368136

final  value 0.368136 
converged
Total time =  41.02  secs, ObjFun Time Pct =  99.77084 
results:
[1] 3.2389296 1.5483393 0.1161706

我也嘗試使用DEoptim()但它運行時間太長而且我不得不殺了它。 從上面的輸出可以看出，99.8％的時間可歸因於目標函數！ 所以Dirk和Mike在下面的評論中是正確的。 我應該更仔細地估計在我的目標函數中花費的時間，打印點不是一個好主意！ 另外我懷疑MLE（EM）方法非常快，因為它使用分析（閉合形式）作為對數似然函數。

Answer 1

當問題存在時，最大似然估計器總是比任何語言的全局優化器都快。

無論算法如何，全局優化器通常將一些隨機跳轉與局部最小化例程組合在一起。 不同的算法可以在群體（遺傳算法），退火，遷移等方面對此進行討論，但它們在概念上都是相似的。

實際上，這意味着如果你有一個平滑的函數，其他一些優化算法可能會最快。 問題函數的特征將決定是否存在二次，線性，圓錐形或其他類型的優化問題，其中存在精確（或接近精確）的解析解，或者是否需要應用全局優化器這一定是慢的。

通過使用ghyp ，你說你的4變量函數產生的輸出可能適合廣義雙曲分布，並且你使用最大似然估計來找到你提供的數據最接近的廣義雙曲分布。 但是如果你這樣做，我恐怕我不明白你怎么會有一個需要優化的非光滑表面。

通常，您選擇的優化程序需要根據您的問題進行選擇。 在任何編程語言中都沒有完美的“最優優化器”，並且選擇適合您的問題的優化算法可能會比實現的任何輕微低效率產生更大的差異。