文档介绍：43( 1)回归分析(三) 逐步回归分析 43( 2)最优回归方程的问题?寻求最优回归方程的问题–在有 p个自变量的情况下,根据自变量的不同组合可能建立 2 p -1个回归方程。这些回归方程的效果有好有坏, 而人们希望的是回归效果最好的,即“最优”的回归方程?最优回归方程的要求–回归效果最佳–自变量的个数最少?选择一个最佳的变量组合–一方面对因变量起显著作用的自变量都选进回归方程, 另一方面对因变量作用不显著的自变量都剔除回归方程, 43( 3)选择最优回归方程的方法?方法一:穷尽法–从所有可能的变量组合中,选择其中最优的回归方程?这种方法一定能选出一个最优组合,但工作量特别大?方法二:逐步剔除法–基本步骤: ?从包含全部 p个自变量组合的回归方程中逐个检验回归系数, 剔除对因变量作用不显著的自变量; ?对剔除后剩下的 q个自变量建立对因变量的多元回归方程,再逐个检验回归系数,剔除不显著的变量; ?重复上述步骤,直到保留在回归方程中自变量的作用都显著为止–缺点:一开始把全部自变量都要引入回归方程,计算量很大,实际上有些不重要的就不必引入 43( 4) 方法三:逐步引入法(1)基本步骤: ①先逐个比较 xl, …,xp 对 y 的回归方程那些是显著的,从显著的方程中挑选 F 值最大的,相应的自变量 x?就被“引入”方程。无妨设 x?就是 x1 ②再逐个比较(x1,x2) 、(x1,x3) 、…、(x1,xp) 对y的回归方程,看有没有 F值显著的,此时的 F就是考虑添加 xi之后, xi的回归系数是否显著地不为 0,将显著的 F中最大的 F所相应的变量“引入”方程。无妨设第二次“引入”的自变量是 x2 ③再考察以 x1 、x2 为基础,逐个添加 x3 、x4 、…、xp 之后的回归方程,是否较 x1 、x2 的方程有显著的改进,有就再“引入”新的自变量……,这样下去,终于到某一步就没有可以再“引入”的自变量了。这时就获得了最后的回归方程 43( 5) ?方法四:逐步回归分析方法?按照自变量对因变量所起作用的显著程度, 从大到小逐个地引入回归方程?当每一变量引入以后,若先前已经引入的变量由于后来变量的引入而使其作用变得不显著时,就及时从回归方程中剔除出去, 直到作用显著的变量都引入到回归方程, 而作用不显者的变量都剔出回归方程,得到一个最佳的变量组合为止?(2)“逐步引入“法的缺点: ?不能反映后来变化的状况,设想 x1 、 x2 、x3 引入后,又引入了 x6 ,也许 x3 、x6 引入后, x1 的作用就不重要了,应该予以剔除,而“逐步引入”法不能达到这个要求 43( 6)逐步回归分析的几个问题一、建立标准正规方程组二、变量的引入、剔除与消去法的关系 43( 7)一、建立标准正规方程组?为了分辨 p个自变量对因变量 Y 所起影响(或作用) 的大小,一个自然的想法是比较各自变量回归系数(j=1,2, …,p)的绝对值的大小。–根据回归系数的含义, X j 的回归系数是在其余 p-1 个自变量保持不变的条件下, X j 改变一个单位所引起 Y平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度?由于回归系数和自变量所取的单位(或数量级)有关,而各个自变量取不同的量纲的情况是常见的, 因而不能将回归系数直接进行比较? j?? j? 43( 8)建立标准正规方程组?为了消除这个影响,对自变量和因变量都要加以标准化?标准化的方法?经过标准化的变量,其均值为 0,标准离差 L x jx j为 1 pjL XXx jj jjj,,2,1???? 2 ( ) 1 1,2, , j j j j x x jj X X L j p L ?? ????事实上, 43( 9) * * * 11 1 12 2 1 1 * * * 21 1 22 2 2 2 * * * 1 1 2 2 ????????? p p y p p y p p pp p py r r r r r r r r r r r r ? ? ?? ? ?? ? ??? ?????? ???????? ???????? ???标准正规方程组?由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵,称为标准化正规方程组?标准化正规方程组为: 43( 10 )标准正规方程组?标准化正规方程组的解称为标准回归系数,其常数项为0?由于因变量也进行了标准化,其总离差平方和 L yy =1 ?求解标准化正规