StatsModels 公式多項式回歸與 numpy polyfit 系數不匹配

Question

我使用 statsmodels 公式的多項式回歸與 nupy polyfit 系數不匹配。

數據鏈接https://drive.google.com/file/d/1fQuCoCF_TeXzZuUFyKaHCbD1zle2f1MF/view?usp=sharing

下面是我的代碼

import numpy as np
import pandas as pd
import scipy
import statsmodels.formula.api as smf

data = pd.read_csv('sp500.csv')

data['Date_Ordinal'] = pd.to_datetime(data['Date']).apply(lambda date: date.toordinal())

x = data['Date_Ordinal']
y = data['Value']

np.polyfit(x,y,2)

model = smf.ols(formula='y ~ x + I(x**2)', data = data).fit()
model.summary()

Numpy polyfit 系數結果：

數組（[4.17939013e-05，-6.09338454e+01，2.22098809e+07]）

Statsmodels 系數結果：

x**2：7.468e-07

x：-0.5466

攔截：-1.486e-06

當我向 Excel 中的數據添加二次趨勢線時，Excel 結果與 numpy 系數一致。 但是，如果我向 Excel 趨勢線添加截距 1，則 x**2 和 x 的系數等於 statsmodels 系數，但 excel 截距變為 1，而 statsmodels 截距為 -1.486e-06。

如果通過減去 1 從 statsmodels 公式中刪除截距，它所做的就是從 statsmodels 結果中完全刪除截距，但系數保持不變。

如何讓 statsmodels 顯示與 numpy polyfit 和 Excel 相同的系數結果？

Answer 1

如果基礎數據不在零附近的小范圍內，多項式可能會變得非常糟糕。 因此，計算在數值上變得不穩定，結果可能會受到數值噪聲的影響。

http://jpktd.blogspot.com/2012/03/numerical-accuracy-in-linear-least.html着眼於 NIST 測試用例，其中多項式的比例非常差，並且許多統計軟件包無法產生數值穩定的解決方案。

Numpy 的多項式擬合可以在創建多項式基函數之前在內部重新調整變量。

像 statsmodels 中的 OLS 這樣的通用回歸模型沒有必要的信息來重新調整基礎變量以提高數值穩定性。 此外，縮放和處理多重共線性由用戶決定。 在這種情況下，OLS 摘要應該打印警告。