無約束優化方法及其收斂

Question

我是凝聚態物理的學生。 我遇到了許多需要全局優化的問題 ，例如find the most stable crystal form for a given components 。 這些問題可以概括為（我相信是NP-hard）：

1）給定一個函數f(x1,x2,x3,...) ，這是一個總的黑匣子，有時計算起來很昂貴

2）給定一個離散的區域S

3）求函數f的全局最大值

我知道有很多算法，例如evolutionary algorithms ， particle swarm optimization ， simulated annealing ，如果f(x)不太昂貴，我可以使用一些點來訓練neuronal network和meta-dynamics ，但是我想知道：

1）是否有更多算法可以完成相同的工作？

2）這些算法的收斂性和收斂速度是多少？ 我發現有些論文說這些算法大多數都可以收斂，但是與在整個空間進行殘酷搜索相比，它們收斂的速度有多快？

非常感謝任何人可以提供信息或在哪里可以找到有關上述問題的信息

Answer 1

硬度理論的一般工作方式是，如果可以證明所研究的算法可用於解決已知的難題，那么該算法既不能保證正確性，又不能保證易處理的多項式計算機時間（否則我們將擁有P =盡管目前尚無證據，但人們認為這不是NP。 現在有大量關於NP完全問題和NP困難問題的目錄。 為了您的目的，請特別注意https://en.wikipedia.org/wiki/Quadratic_programming#Complexity是其中之一。 通常也很容易解決組合問題，並提出一個連續函數，該函數在組合問題的解決方案中具有全局最小值，因此，如果您可以在連續問題中找到全局最小值，則可以解決難題組合問題。

數值分析書中充斥着各種方法，這些方法可以采用導數並在合理的假設下迅速收斂到局部最優。 還有Torczon Simplex，它具有合理假設的收斂證明，但不需要導數。 （在參考https://en.wikipedia.org/wiki/Pattern_search_(optimization） ，也參見https://help.scilab.org/doc/5.5.2/en_US/optimsimplex_overview.html ）。 這里的要點是證明收斂是局部最優的，並且可能存在成倍的局部最優。 注意，即使SUM_i（X_i ^ 2-1）^ 2也具有指數形式的許多局部最優值，盡管它們的確產生相同的值。 一種想法是從隨機的起始位置反復收斂並選擇找到的最佳答案，但是顯然找到全局最優值的機會可能很小。

模擬退火及其變體具有收斂到全局最優的證明，但是如果您看一下如何證明的話，可以歸結為：如果您使程序運行足夠長的時間，最終將絆倒正確的答案，因此收斂時間隨問題的大小呈指數增長，並且與從多個隨機開始重復收斂到局部最優值的數量級相同（或更糟）。 有時在這里所做的假設-特別是您正在優化隨機函數-也可能證明https://en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimization定理，表明這些奇特的方法都有其自身的弱點，或者至少存在並不是最好的通用算法。

Answer 2

多謝你們！ 我發現這個陳述解決了我所想的問題

雖然元啟發法無法證明所找到的解決方案的最優性，但事實證明，精確的程序（理論上可以提供這樣的證明，如果允許運行足夠長的時間）通常無法找到質量與領先者所獲得的解決方案接近的解決方案。元啟發法-特別是對於現實世界中的問題，通常會達到很高的復雜度

由Glover，Fred W.和Gary A. Kochenberger編輯。 元啟發式手冊。 卷。 57.斯普林格科學與商業媒體，2006年。

（犯了一個愚蠢的錯誤，沒有復制整個句子，現在已經完成了）