文档介绍：薃逻辑回归模型衿作者:来源:博客园发布时间:2008-08-2917:21阅读:8993次原文链接[收藏],设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为芈()衿上式右侧形式的函数称为逻辑函数。下图给出其函数图象形式。蒅肄其中。如果含有名义变量,则将其变为dummy变量。一个具有k个取值的名义变量,将变为k-1个dummy变量。这样,有羂()莆定义不发生事件的条件概率为蒆()膂那么,事件发生与事件不发生的概率之比为莁()肆这个比值称为事件的发生比(theoddsofexperiencinganevent),简称为odds。因为0<p<1,故odds>0。对odds取对数,即得到线性函数,芃(),观测值分别为设为给定条件下得到的概率。在同样条件下得到的条件概率为。于是,得到一个观测值的概率为膁()虿因为各项观测独立,所以它们的联合分布可以表示为各边际分布的乘积。羇()蒄上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是,最大似然估计的关键就是求出参数,使上式取得最大值。袁对上述函数求对数蚀()肆上式称为对数似然函数。为了估计能使取得最大的参数的值。羃对此函数求导,得到p+1个似然方程。薁()蒇,j=1,2,..,。为了解上述非线性方程,应用牛顿-拉斐森(Newton-Raphson)方法进行迭代求解。牛顿-拉斐森迭代法莂对求二阶偏导数,即Hessian矩阵为蕿薆()肆如果写成矩阵形式,以H表示Hessian矩阵,X表示肂()薀令蚅()蒅则。再令(注:前一个矩阵需转置),即似然方程的矩阵形式。袂得牛顿迭代法的形式为莈()肇注意到上式中矩阵H为对称正定的,求解即为求解线性方程HX=U中的矩阵X。对H进行cholesky分解。袅最大似然估计的渐近方差(asymptoticvariance)和协方差(covariance)可以由信息矩阵(informationmatrix)的逆矩阵估计出来。而信息矩阵实际上是二阶导数的负值,表示为。估计值的方差和协方差表示为,也就是说,估计值的方差为矩阵I的逆矩阵的对角线上的值,而估计值和的协方差为除了对角线以外的值。然而在多数情况,我们将使用估计值的标准方差,表示为薃,forj=0,1,2,…,p()。零假设:=0(表示自变量对事件发生可能性无影响作用)。如果零假设被拒绝,说明事件发生可能性依赖于的变化。,通常使用Wald检验,其公式为蒀()薈其中,为的标准误差。这个单变量Wald统计量服从自由度等于1的分布。螄如果需要检验假设:=0,计算统计量肄()芈其中,为去掉所在的行和列的估计值,相应地,为去掉所在的行和列的标准误差。这里,Wald统计量服从自由度等于p的分布。如果将上式写成矩阵形式,有蚆()膃矩阵Q是第一列为零的一常数矩阵。例如,如果检验,则。螈然而当回归系数的绝对值很大时,这一系数的估计标准误就会膨胀,于是会导致Wald统计值变得很小,以致第二类错误的概率增加。也就是说,在实际上会导致应该拒绝零假设时却未能拒绝。所以当发现回归系数的绝对值很大时,就不再用Wald统计值来检验零假设,而应该使用似然比检验来代替。似然比(Likelihoodratiotest)检验羂在一个模型里面,含有变量与不含变量的对数似然值乘以-2的结果之差,服从分布。这一检验统计量称为似然比(likelihoodratio),用式子表示为螀()蒈计算似然值采用公式()。蚈倘若需要检验假设:=0,计算统计量莅()蒄上式中,表示=0的观测值的个数,而表示=1的观测值的个数,那么n就表示所有观测值的个数了。实际上,上式的右端的右半部分表示只含有的似然值。:=0下,设参数的估计值为,即对应的=0。计算Score统计量的公式为蒃()羃上式中,表示在=0下的对数似然函数()的一价偏导数值,而表示在=0下的对数似然函数()的二价偏导数值。Score统计量服从自由度等于1的分布。模型拟合信息蒇模型建立后,考虑和比较模型的拟合程度。有三个度量值可作为拟合的判断根据。袆(1)-2LogLikelihood莂()蝿(2)Akaike信息准则(AkaikeInformationCriterion