文档介绍：第四讲回归分析逐步回归分析
*
本讲稿第一页，共四十七页
最优回归方程的问题
在有p个自变量的情况下，根据自变量的不同组合可能建立的回归方程众多。这些回归方程的效果有好有坏，而人们希望的是回归效果最好的，即“最优”的回归方程(x1,…,xl) 降到 Q(x1,…,xl ,xi)
*
本讲稿第十二页，共四十七页
因此，有
记
ui就是回归方程中引入 xi 后对回归平方和的贡献，即偏回归平方和，且有
*
本讲稿第十三页，共四十七页
经F 检验，当 xi 作用显著时，可将其引入。
同理，如果 xi 原来已经在回归方程中，若检验后其作用不显著，可及时从回归方程中剔除出去。
利用统计量
因此，取剔除和引入变量 xi的标准相同，即
*
本讲稿第十四页，共四十七页
在逐步回归中引入一个变量与剔除一个变量都要作变换，变换公式相同，采用求解求逆紧凑格式
在第s 次对第k 列消去的变换公式是：
二、变量的引入、剔除与消去法的关系
*
本讲稿第十五页，共四十七页
由相关矩阵构成的系数矩阵中，第 i 个变量的偏回归平方和ui(s)为：
由
可推倒出来
ui(s) 为下一步引进变量的指标，每一步引入都是从未出现在回归方程的剩余变量中挑选ui(s)的最大者
进行上述变换后，回归分析中的剩余平方和Q的值即为系数矩阵中ryy位置所得的结果。即有，
（证明）
*
本讲稿第十六页，共四十七页
式中，l 为先前已经引入到回归方程中的变量个数，Fi 服从F(1,n-l-2)分布。
如果已引进的变量中有不显著的，则选其最不显著者作剔除变换，然后再检验。在未引入的变量中检验有无回归显著的变量，若有，则挑选最显著的作引入的消去变换，然后再检验。
反复进行，直到没有变量可以引进，也没有变量可以从方程中剔除为止。
构造检验统计量
*
本讲稿第十七页，共四十七页
用消去法求解正规方程组的过程
二、变量的引入、剔除与消去法的关系
当消去正规方程组系数矩阵的第一列时，常数项列的第一个数就是只有x1这一个自变量情况下所建立的回归方程的回归系数
这是因为：当回归方程只有一个自变量时，表明其他自变量在多元回归方程中的回归系数为0。因此，正规方程的常数项部分就是该变量的解，即回归系数。
*
本讲稿第十八页，共四十七页
二、变量的引入、剔除与消去法的关系
第二次消去了正规方程组系数矩阵的第一、二两列时，常数项列中的第一、二两个数即为只有x1， x2两个自变量情况下所建立回归方程的回归系数 和
依次类推，得到引入的各个自变量的回归系数
系数矩阵中每消去一列，等价于回归方程中引入一个新的变量，而且与变量排列的顺序无关。
*
本讲稿第十九页，共四十七页
由相关系数矩阵得到的回归系数是标准回归系数 ，如果要把它化为一般回归系数 ，其关系为：
其中 Lii 和Lyy为方差协方差矩阵中对应元素，即变量 Xi 和因变量 Y 的方差。
二、变量的引入、剔除与消去法的关系
*
本讲稿第二十页，共四十七页
三、实例
【例】 某种水泥在凝固时，放出的热量Y（卡／克）与水泥中下列4种成分有关：
X1:铝酸三钙
X2:硅酸三钙
X3:铁铝硅四钙
X4:硅酸二钙
通过试验，取得数据资料如右所示：
编号
X1
X2
X3
X4
Y
1
2
3
4
5
6
7
8
9
10
11
12
13
7
1
11
11
7
11
3
1
2
21
1
11
10
26
29
56
31
52
55
71
31
54
47
40
66
68
6
15
8
8
6
9
17
22
18
4
23
9
8
60
52
20
47
33
22
6
44
22
26
34
12
12
*
本讲稿第二十一页，共四十七页
说明：按第一种方法选最优，全部可能的回归方程有 个
准备工作：
计算各要素之间的相关系数，得到相关系数矩阵
*
本讲稿第二十二页，共四十七页
根据本例资料，算出
从矩阵R(0)中可以看出：
x1与x2 两因子不相关，x2与x4、x1与x3之间关系密切，x3与y关系不太密切，x4与y最相关
*
本讲稿第二十三页，共四十七页
逐步回归步骤：
公式：
t－变换步数
第一步(t =1)
①选择第一个变量进入