文档介绍：逻辑回归统计量计算
逻辑回归模型
作者: 来源:博客园发布时间:2008-08-29 17:21 阅读:8993 次原文链接[收藏]
考虑具有p个独立变量的向量,设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为
()
上式右侧形式的函数称为逻辑函数。下图给出其函数图象形式。
其中。如果含有名义变量,则将其变为dummy变量。一个具有k个取值的名义变量,将变为k-1个dummy变量。这样,有
()
定义不发生事件的条件概率为
()
那么,事件发生与事件不发生的概率之比为
()
这个比值称为事件的发生比(the odds of experiencing an event),简称为odds。因为0<p<1,故odds>0。对odds取对数,即得到线性函数,
()
假设有n个观测样本,观测值分别为
下得到的概率。在同样条件下得到设的条件概率为为给定条件。于是,得到一个观测值的概率为
()
因为各项观测独立,所以它们的联合分布可以表示为各边际分布的乘积。
()
上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是,最大似然估计的关键就是求出参数
对上述函数求对数
()
上式称为对数似然函数。为了估计能使
对此函数求导,得到p+1个似然方程。
()
,j=1,2,..,p.
上式称为似然方程。为了解上述非线性方程,应用牛顿-拉斐森(Newton-Raphson)方法进行迭代求解。
牛顿-拉斐森迭代法
对求二阶偏导数,即Hessian矩阵为取得最大的参数的值。,使上式取得最大值。
()
如果写成矩阵形式,以H表示Hessian矩阵,X表示
()
令
()
则。再令
似然方程的矩阵形式。
得牛顿迭代法的形式为
()
注意到上式中矩阵H为对称正定的,求解
对H进行cholesky分解。(注:前一个矩阵需转置),即即为求解线性方程HX=U中的矩阵X。
最大似然估计的渐近方差(asymptotic variance)和协方差(covariance)可以由信息矩阵(information matrix)的逆矩阵估计出来。而信息矩阵实际上是二阶导数的负值,表示为。估计值的方差和协方差表示为
和,也就是说,估计值的协方差为除了对角线以的方差为矩阵I的逆矩阵的对角线上的值,而估计值
外的值。然而在多数情况,我们将使用估计值的标准方差,表示为
,for j=0,1,2,…,p ()
下面讨论在逻辑回归模型中自变量
=0(表示自变量
生可能性依赖于是否与反应变量显著相关的显著性检验。零假设:对事件发生可能性无影响作用)。如果零假设被拒绝,说明事件发的变化。
Wald test
对回归系数进行显著性检验时,通常使用Wald检验,其公式为
()
其中, 为的标准误差。这个单变量Wald统计量服从自由度等于1的
:=0