文档介绍：芃逻辑回归模型蚆作者:来源:博客园发布时间:2008-08-2917:21阅读:8993次原文链接[收藏],设条件概率为根据观测量相对于某事件发生的概率。逻辑回归模型可表示为蒇()蚄上式右侧形式的函数称为逻辑函数。下图给出其函数图象形式。蚁膁其中。如果含有名义变量,则将其变为dummy变量。一个具有k个取值的名义变量,将变为k-1个dummy变量。这样,有***()蚅定义不发生事件的条件概率为肄()薁那么,事件发生与事件不发生的概率之比为羈()螇这个比值称为事件的发生比(theoddsofexperiencinganevent),简称为odds。因为0<p<1,故odds>0。对odds取对数,即得到线性函数,膂(),观测值分别为设为给定条件下得到的概率。在同样条件下得到的条件概率为。于是,得到一个观测值的概率为薄()薅因为各项观测独立,所以它们的联合分布可以表示为各边际分布的乘积。葿()蒈上式称为n个观测的似然函数。我们的目标是能够求出使这一似然函数的值最大的参数估计。于是,最大似然估计的关键就是求出参数,使上式取得最大值。薆对上述函数求对数蚃()肃上式称为对数似然函数。为了估计能使取得最大的参数的值。腿对此函数求导,得到p+1个似然方程。蚇()螁,j=1,2,..,。为了解上述非线性方程,应用牛顿-拉斐森(Newton-Raphson)方法进行迭代求解。牛顿-拉斐森迭代法蒄对求二阶偏导数,即Hessian矩阵为膄羁()虿如果写成矩阵形式,以H表示Hessian矩阵,X表示薆()节令莁()莀则。再令(注:前一个矩阵需转置),即似然方程的矩阵形式。薇得牛顿迭代法的形式为薅()袀注意到上式中矩阵H为对称正定的,求解即为求解线性方程HX=U中的矩阵X。对H进行cholesky分解。膀最大似然估计的渐近方差(asymptoticvariance)和协方差(covariance)可以由信息矩阵(informationmatrix)的逆矩阵估计出来。而信息矩阵实际上是二阶导数的负值,表示为。估计值的方差和协方差表示为,也就是说,估计值的方差为矩阵I的逆矩阵的对角线上的值,而估计值和的协方差为除了对角线以外的值。然而在多数情况,我们将使用估计值的标准方差,表示为莄,forj=0,1,2,…,p()。零假设:=0(表示自变量对事件发生可能性无影响作用)。如果零假设被拒绝,说明事件发生可能性依赖于的变化。,通常使用Wald检验,其公式为袁()虿其中,为的标准误差。这个单变量Wald统计量服从自由度等于1的分布。莇如果需要检验假设:=0,计算统计量蒇()膄其中,为去掉所在的行和列的估计值,相应地,为去掉所在的行和列的标准误差。这里,Wald统计量服从自由度等于p的分布。如果将上式写成矩阵形式,有莂()肇矩阵Q是第一列为零的一常数矩阵。例如,如果检验,则。芅然而当回归系数的绝对值很大时,这一系数的估计标准误就会膨胀,于是会导致Wald统计值变得很小,以致第二类错误的概率增加。也就是说,在实际上会导致应该拒绝零假设时却未能拒绝。所以当发现回归系数的绝对值很大时,就不再用Wald统计值来检验零假设,而应该使用似然比检验来代替。似然比(Likelihoodratiotest)检验螂在一个模型里面,含有变量与不含变量的对数似然值乘以-2的结果之差,服从分布。这一检验统计量称为似然比(likelihoodratio),用式子表示为袈()莆计算似然值采用公式()。蚄倘若需要检验假设:=0,计算统计量芁()薈上式中,表示=0的观测值的个数,而表示=1的观测值的个数,那么n就表示所有观测值的个数了。实际上,上式的右端的右半部分表示只含有的似然值。:=0下,设参数的估计值为,即对应的=0。计算Score统计量的公式为蚀()莈上式中,表示在=0下的对数似然函数()的一价偏导数值,而表示在=0下的对数似然函数()的二价偏导数值。Score统计量服从自由度等于1的分布。模型拟合信息膅模型建立后,考虑和比较模型的拟合程度。有三个度量值可作为拟合的判断根据。肀(1)-2LogLikelihood聿()芆(2)Akaike信息准则(AkaikeInformationCriterion