Statsmodels OLS回归：对数似然，用法和解释

Question

我正在使用python的statsmodels包进行线性回归。 在R^2 ， p等的输出中，也有“对数似然”。 在文档中，这被描述为“拟合模型的似然函数的值”。 我看了一下源代码，但并不太了解它在做什么。

阅读更多有关似然函数的信息后，对于“对数似然”值的含义或用途，我仍然很模糊。 有几个问题：

• 在线性回归的情况下，似然函数的值是否与参数的值（在此情况下为beta ）相同？ 根据以下推导导致方程12的方法似乎是这样的： http : //www.le.ac.uk/users/dsgp1/COURSES/MATHSTAT/13mlreg.pdf

• 知道似然函数的值有什么用？ 是否可以与其他具有相同响应和不同预测变量的回归模型进行比较？ 实际的统计学家和科学家如何使用statsmodels得出的对数似然值？

Answer 1

可能性（并扩展为对数可能性）是统计中最重要的概念之一。 它用于一切。

对于您的第一点，似然性与参数的值不同。 给定一组参数估计值的可能性是整个模型的可能性。 它是通过获取一组参数估计值，计算每个参数的概率密度，然后将所有观测值的概率密度相乘而得出的（这是根据概率理论得出的，其中P（A和B）= P（A）P（ B）如果A和B是独立的）。 在实践中，这对于线性回归和推导显示的意义是，您需要获取一组参数估计值（β，sd），将其插入到正常pdf中，然后在该集合中计算每个观测值y的密度。参数估计。 然后，将它们全部相乘。 通常，我们选择使用对数似然法，因为它更容易计算，因为可以求和（log（a * b）= log（a）+ log（b）），而不是相乘，这在计算上更快。 同样，我们倾向于使负对数可能性最小化（而不是使正对数最大化），因为优化器有时在最小化方面比在最大化方面工作更好。

为了回答您的第二点，对数似然几乎用于所有事物。 这是我们用于查找大量模型的参数估计（最大似然估计）的基本数量。 对于简单的线性回归，这些估计结果与最小二乘方的估计值相同，但是对于更复杂的模型，最小二乘可能不起作用。 它也可用于计算AIC，可用于比较具有相同响应和不同预测变量的模型（但会惩罚参数编号，因为无论多少，参数越多，拟合效果越好）。