功能最大化

Question

我正在嘗試使用以下代碼最大化功能：

from scipy.optimize import minimize
from scipy.stats import lognorm, norm
import numpy as np

np.random.seed(123)
obs = np.random.normal(loc=20, scale=3, size=20)

# Log-Posterior optimisation objectiv 
def objective(params, y):
    mu = params[0]
    sigma = params[1]
    llikelihood = np.sum(np.log(norm.pdf(y, mu, sigma)))
    lpost = llikelihood + np.log(norm.pdf(mu, 0, 100)) + np.log(lognorm.pdf(sigma, loc= 0, s = 4))
    return -1*lpost

starting_mu = 0
starting_sigma = 1
optim_res = minimize(fun = objective, x0=(starting_mu, starting_sigma), args=(obs))

該代碼可以很好地運行到最后的優化行。 我非常有信心，錯誤是我嘗試像R中那樣進行優化，使用相同的設置和觀察結果， objective()得出的值相同。 此外，使用optim()函數確實optim()值優化為mu = 21.6和sigma = 3.28。

我可以使用R代碼，但是，在Python中運行該代碼會更容易，以便它可以與我正在做的所有其他事情集成。

編輯：追溯消息是：

dert2@ma0phd201803:~$ python laplace_approx.py 
laplace_approx.py:12: RuntimeWarning: divide by zero encountered in log
    lpost = llikelihood + np.log(norm.pdf(mu, 0, 100)) + np.log(lognorm.pdf(sigma, loc= 0, s = 4))
laplace_approx.py:12: RuntimeWarning: divide by zero encountered in log
    lpost = llikelihood + np.log(norm.pdf(mu, 0, 100)) + np.log(lognorm.pdf(sigma, loc= 0, s = 4))
laplace_approx.py:12: RuntimeWarning: divide by zero encountered in log
    lpost = llikelihood + np.log(norm.pdf(mu, 0, 100)) + np.log(lognorm.pdf(sigma, loc= 0, s = 4))
/opt/anaconda3/lib/python3.7/site-packages/numpy/core/fromnumeric.py:83:     RuntimeWarning: invalid value encountered in reduce
    return ufunc.reduce(obj, axis, dtype, out, **passkwargs)

Answer 1

快速調試程序后發現， norm.pdf(y, mu, sigma)在一次迭代中返回了一個nan數組。 在同一迭代中， lognorm.pdf(sigma, loc=0, s=4)返回零。 甚至在此之前， sigma被分配為負值。 這確實是問題開始的地方。 確切地跟蹤為什么要使用負的params[1]值調用該函數會花費一些精力，但這確實發生了。 我將使用調試器來逐步執行minimize功能，以查看發生了什么。 我相信負值會在第9次調用時傳遞給函數，如果有幫助的話。 用於優化功能的方法可能不適用於您的特定功能。 您可以嘗試使用通過分配給method參數選擇的其他method （有關更多詳細信息，請參見文檔）。