[英]Simple binary logistic regression using MATLAB
我正在使用MATLAB进行逻辑回归,以解决一个简单的分类问题。 我的协变量是一个介于0和1之间的连续变量,而我的分类响应是0(不正确)或1(正确)的二进制变量。
我正在寻找逻辑回归来建立预测器,该预测器将输出某些输入观察的概率(例如,如上所述的连续变量)是正确的或不正确的。 虽然这是一个相当简单的场景,但我在MATLAB中运行它时遇到了一些麻烦。
我的方法如下:我有一个列向量X
,它包含连续变量的值,另一个大小相等的列向量Y
包含每个X
值的已知分类(例如0或1)。 我正在使用以下代码:
[b,dev,stats] = glmfit(X,Y,'binomial','link','logit');
然而,这给出了无意义的结果,其中p = 1.000
,系数( b
)非常高(-650.5,1320.1),并且相关的标准误差值大约为1e6。
然后我尝试使用其他参数来指定二项式样本的大小:
glm = GeneralizedLinearModel.fit(X,Y,'distr','binomial','BinomialSize',size(Y,1));
这给了我更符合我的预期的结果。 我提取系数,使用glmval
创建估计值( Y_fit = glmval(b,[0:0.01:1],'logit');
),并为拟合创建一个数组( X_fit = linspace(0,1)
)。 当我使用figure, plot(X,Y,'o',X_fit,Y_fit'-')
重叠原始数据和模型的figure, plot(X,Y,'o',X_fit,Y_fit'-')
模型的结果图基本上看起来像''的1/4。具有逻辑回归图的典型S形图。
我的问题如下:
1)为什么我使用glmfit
产生奇怪的结果?
2)我应该如何解决我的初始问题:给定一些输入值,它的分类是正确的概率是多少?
3)如何获得模型参数的置信区间? glmval
应该能够输入glmfit
的stats
输出,但是我使用glmfit
并没有给出正确的结果。
任何评论和意见都非常有用,谢谢!
我发现mnrval
似乎给出了合理的结果。 我可以用[b_fit,dev,stats] = mnrfit(X,Y+1);
其中Y+1
简单地将我的二元分类器变为名义分类器。
我可以遍历[pihat,lower,upper] = mnrval(b_fit,loopVal(ii),stats);
获得各种pihat
概率值,其中loopVal = linspace(0,1)
或一些适当的输入范围和`ii = 1:length(loopVal)'。
该stats
参数有很大的相关系数(0.9973),但对于P值b_fit
是0.0847和0.0845,这我不太知道如何解释。 有什么想法吗? 另外,为什么会mrnfit
在工作glmfit
在我的例子吗? 我应该注意到,当使用GeneralizedLinearModel.fit
时,系数的p值都是p<<0.001
,系数估计也是非常不同的。
最后,如何解释mnrfit
函数的dev
输出? MATLAB文件指出它是“解决方案向量的拟合偏差。偏差是残差平方和的推广。” 这是一个独立的值,还是仅与其他模型的dev
值进行比较?
听起来您的数据可能是线性可分的。 简而言之,这意味着由于您的输入数据是一维的,因此存在x
某个值,使得x < xDiv
所有值x < xDiv
属于一个类(例如y = 0
),并且x > xDiv
所有值x > xDiv
属于另一个类( y = 1
)。
如果您的数据是二维的,这意味着您可以在二维空间X
绘制一条线,使得特定类的所有实例都位于该线的一侧。
这对于逻辑回归(LR)来说是个坏消息,因为LR并不是真正意味着处理数据可线性分离的问题。
Logistic回归试图拟合以下形式的函数:
当分母中指数内的表达式为负无穷大或无穷大时,这将仅返回y = 0
或y = 1
值。
现在,因为您的数据是线性可分的,并且Matlab的LR函数试图找到适合数据的最大似然值,您将获得极端权重值。
这不一定是一个解决方案,但尝试只在您的一个数据点上翻转标签(因此对于某些索引t
,其中y(t) == 0
设置y(t) = 1
)。 这将导致您的数据不再是线性可分的,并且学习的权重值将被显着拖得更接近于零。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.