文档介绍：逻辑回归统计量算————————————————————————————————作者:————————————————————————————————日期: 逻辑回归模型作者:来源:博客园发布时间:2008-08-2917:21阅读:8993次原文链接[收藏],设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为()上式右侧形式的函数称为逻辑函数。下图给出其函数图象形式。其中。如果含有名义变量,则将其变为dummy变量。一个具有k个取值的名义变量,将变为k-1个dummy变量。这样,有() 定义不发生事件的条件概率为()那么,事件发生与事件不发生的概率之比为()这个比值称为事件的发生比(theoddsofexperiencinganevent),简称为odds。因为0<p<1,故odds>0。对odds取对数,即得到线性函数, (),观测值分别为设为给定条件下得到的概率。在同样条件下得到的条件概率为。于是,得到一个观测值的概率为() 因为各项观测独立,所以它们的联合分布可以表示为各边际分布的乘积。()上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是,最大似然估计的关键就是求出参数,使上式取得最大值。对上述函数求对数()上式称为对数似然函数。为了估计能使取得最大的参数的值。对此函数求导,得到p+1个似然方程。(),j=1,2,..,。为了解上述非线性方程,应用牛顿-拉斐森(Newton-Raphson)方法进行迭代求解。 牛顿-拉斐森迭代法对求二阶偏导数,即Hessian矩阵为()如果写成矩阵形式,以H表示Hessian矩阵,X表示()令()则。再令(注:前一个矩阵需转置),即似然方程的矩阵形式。得牛顿迭代法的形式为()注意到上式中矩阵H为对称正定的,求解即为求解线性方程HX=U中的矩阵X。对H进行cholesky分解。最大似然估计的渐近方差(asymptoticvariance)和协方差(covariance)可以由信息矩阵(informationmatrix)的逆矩阵估计出来。而信息矩阵实际上是二阶导数的负值,表示为。估计值的方差和协方差表示为,也就是说,估计值的方差为矩阵I的逆矩阵的对角线上的值,而估计值和的协方差为除了对角线以外的值。然而在多数情况,我们将使用估计值的标准方差,表示为,forj=0,1,2,…,p()。零假设:=0(表示自变量对事件发生可能性无影响作用)。如果零假设被拒绝,说明事件发生可能性依赖于的变化。,通常使用Wald检验,其公式为()其中,为的标准误差。这个单变量Wald统计量服从自由度等于1的分布。如果需要检验假设:=0,计算统计量()其中,为去掉所在的行和列的估计值,相应地,为去掉所在的行和列的标准误差。这里,Wald统计量服从自由度等于p的分布。如果将上式写成矩阵形式,有()矩阵Q是第一列为零的一常数矩阵。例如,