Python 中的最大似然优化

Question

我正在尝试在 python 中优化以下 function。我的目标是获得最小化此 function 的参数。

def lik(parameters):
    r, alpha, a, b = parameters[0], parameters[1], parameters[2], parameters[3]
    delta_x = np.where(df['x'].values > 0,1,0)
    
    a_1 = gammaln(r + df['x'].values)-gammaln(r)+r*np.log(alpha)
    a_2 = gammaln(a+b)+gammaln(b+df['x'].values)-gammaln(b)-gammaln(a+b+df['x'].values)
    a_3 = -(r+df['x'].values)*np.log(alpha+df['T'].values)
    a_4 = delta_x * np.log(a)-np.log(b+df['x'].values-1)-(r+df['x'].values)*np.log(alpha+df['t_x'].values)
    
    ll = a_1 +a_2 + np.log(np.exp(a_3)+delta_x*(np.exp(a_4)))
    
    return -np.sum(ll)

为了识别参数，我使用以下 function：

bounds = Bounds([0.01,0.01,0.01,0.01],[1000,1000,1000,1000])
mle = minimize(lik, [1.01,1.01,1.01,1.01],method = 'L-BFGS-B',bounds=bounds)
mle.x

然而，我面临的问题是，对于lik()中的大量a_3 ，我得到了巨大的价值，有人知道我如何解决这个问题以获得上述问题的良好参数吗？

Answer 1

上面的代码定义了 model 的可能性 function (lik)，有四个参数：r、alpha、a 和 b。 它还使用 scipy 库中的最小化 function 来找到这些参数的最大似然估计 (MLE)，使用 L-BFGS-B 优化方法并为每个参数指定界限。 MLE 然后存储在变量 mle.x 中，可以通过调用 mle.x 访问。

解决 lik() function 中 a_3 项中大数问题的一种方法是使用 scipy.special 中的 logsumexp function。 这个 function 以数值稳定的方式计算指数和的对数，避免了上溢或下溢的问题。

这是一个示例，说明如何修改 lik() function 以使用 logsumexp：

from scipy.special import logsumexp

def lik(参数): r, alpha, a, b = parameters[0], parameters[1], parameters[2], parameters[3] delta_x = np.where(df['x'].values > 0, 1,0)

a_1 = gammaln(r + df['x'].values)-gammaln(r)+r*np.log(alpha)
a_2 = gammaln(a+b)+gammaln(b+df['x'].values)-gammaln(b)-gammaln(a+b+df['x'].values)
a_3 = -(r+df['x'].values)*np.log(alpha+df['T'].values)
a_4 = delta_x * np.log(a)-np.log(b+df['x'].values-1)-(r+df['x'].values)*np.log(alpha+df['t_x'].values)

ll = a_1 +a_2 + logsumexp([a_3, delta_x*a_4])

return -np.sum(ll)

此修改将确保大数字不会影响最终结果，并且您将能够为该问题获得良好的参数。