截距是逻辑回归中真实值的一半

Question

对于科学研究，我需要使用 python 和 sci-kit learn 来分析传统的逻辑回归。 在用“penalty='none'”拟合我的回归模型后，我可以获得正确的系数，但截距是真实值的一半。 我的代码主要如下：

df = pd.read_excel("data.xlsx")
train, test = train_test_split(df, train_size = 0.8, random_state = 42)
train = train.drop(["Unnamed: 0"], axis = 1)
test = test.drop(["Unnamed: 0"], axis = 1)
x_train = train.drop(["GRUP"], axis = 1)
x_train = sm.add_constant(x_train)
y_train = train["GRUP"]
x_test = test.drop(["GRUP"], axis = 1)
x_test = sm.add_constant(x_test)
y_test = test["GRUP"]
model = sm.Logit(y_train, x_train).fit()
model.summary()
log = LogisticRegression(penalty = "none")
log.fit(x_train, y_train)
log.intercept_

使用 statsmodels 我得到截距（常数）“28.7140”，但使用 sci-kit 学习“14.35698738”。 其他系数相同。 我在 SPSS 上验证了它，第一个是正确的值。 我不想仅将 statsmodels 用于逻辑回归。 能否请你帮忙？

PS：没有拦截模型工作正常。

Answer 1

这里的问题是，在您发布的代码中，您使用x_train = sm.add_constant(x_train)向x_train添加了一个常数项（一列 1）。 然后，将相同的x_train对象传递给 sklearn 的LogisticRegression()方法，其中fit_intercept=的默认值为True 。 因此，在那个阶段，您最终会创建另一个常数项，从而导致估计系数的差异。

因此，您应该在sklearn代码中关闭fit_intercept= ，或者保留fit_intercept=True但使用不添加常数项的x_train数组。