在 python 中执行 statsmodels OLS 回归时将 nan 保留在结果中

Question

我想使用 python 的 statsmodels package 执行 OLS 回归。但是我的数据集中有 nans。 目前，我知道我可以在执行 OLS 回归时使用 missing='drop' 选项，但一些结果（拟合值或残差）将具有与原始 y 变量不同的长度。

我以以下代码为例：

import numpy as np
import statsmodels.api as sm

yvars = np.array([1.0, 6.0, 3.0, 2.0, 8.0, 4.0, 5.0, 2.0, np.nan, 3.0])
xvars = np.array(
    [
        [1.0, 8.0],
        [8.0, np.nan],
        [np.nan, 3.0],
        [3.0, 6.0],
        [5.0, 3.0],
        [2.0, 7.0],
        [1.0, 3.0],
        [2.0, 2.0],
        [7.0, 9.0],
        [3.0, 1.0],
    ]
)

res = sm.OLS(yvar, sm.add_constant(xvars), missing='drop').fit()
res.resid

结果如下：

array([-0.71907958, -1.9012464 ,  1.78811122,  1.18983701,  2.63854267,
       -1.45254075, -1.54362416])

我的问题是结果是一个长度为 7 的数组（在删除 nans 之后），但 yvar 的长度为 10。那么，如果我想返回与 yvar 长度相同的残差，并且只是 output nan 在任何 position 中怎么办yvar 或 xvars 中至少有 1 个 nan？

基本上，我想要得到的结果是：

array([-0.71907958, nan , nan , -1.9012464 ,  1.78811122,  1.18983701,  2.63854267,
       -1.45254075, nan , -1.54362416])

Answer 1

这在 statsmodels 中很难实现。 所以用户需要自己处理。

结果属性（如 fittedvalues 和 resid）适用于实际使用的样本。

结果实例的predict方法在提供的预测数据exog数组中保留了 nans，但其他方法和属性则没有。
results.predict(xvars_all)

一种解决方法：

使用 pandas DataFrame 作为数据。
然后，结果实例的 AFAIR、 resid和fittedvalues是具有适当索引的 pandas 系列。 然后可以使用它来将这些添加到原始索引或 DataFrame。这就是predict方法的作用。