文档介绍：精彩文档
多元线性回归模型
一、多元线性回归模型的一般形式
设随机变量y与一般变量x,x,…,x的线性回归模型为:
12p
y=B+Bx+Bx+•…+Bx+8
01122pp
写成矩阵形式为：y=邓+8其中：
y=
y时
G-M定理表明最小二乘估计6是0的最小方差线性无偏估计。
jj
第二，可能存在y,y,…,y的非线性函数，作为c'0的无偏估计，比最小二
12n
乘估计c'0的方差更小。
第三，可能存在c'0的有偏估计量，在某种意义(例如均方差最小)下比最
小二乘估计c'0更好。
第四，在正态假定下，c'0是c'0的最小方差无偏估计。
性质5，cov(0,e)=0，在正态假定下0与e不相关等价与0与e独立，从而0与
SEE=e'e独立。
性质6,当y~N(X0Q21)时，则]0~N(0Q2(XX)-1)
n[SEEjc2~咒2(n-p-1)
五、自变量的显著性
如何剔除多余的不显著的自变量？y对自变量x,x,…,x线性回归的残差平方
12p
和为SSE，回归平方和为SSR，在剔除掉x后，用y对其余的p-1个自变量作回
j
归，所得的残差平方和记为SSE，回归平方和为SSR，则自变量x对回归的
(j)(j)j
精彩文档
贡献为：ASSR二SSR-SSR，称为x的偏回归平方和。由此可以构造偏F统
(j)(j)j
计量：F=3，当原假设H:0=0成立时，偏F统计量F服从
jSSE(n-p-1)ojjj
自由度为(1,n-p-1)的F分布，此F检验与回归系数的t检验是一致的，当从回归方程中剔除变量时，回归平方和减少，残差平方和增加。反之，当往回归方程中引入变量时，回归平方和增加，残差平方和减少，两者的增减量同样相等。
六、关于拟合优度
精彩文档
R2=筹R2与回归方程中自变量的数目以及样本容量n有关，当样本容量n
与自变量个数接近时，R2易接近1,其中隐含着一些虚假成分。由R2决定模型
优劣时还需慎重。
七、中心化和标准化因为多元回归涉及的数据量很大，就可能由于舍入误差而使计算结果不理想。产生舍入误差有两个主要原因，一是回归分析计算中数据量级有很大差异，；二
是设计矩阵X的列向量近似线性相关时，XX为病态矩阵，其逆矩阵(XX)-1就
会产生较大的误差。
1、中心化
多元线性回归模型的一般形式为：y二B+Px+Px+…+Px+8
01122pp
其经验回归方程为：y=0+0x+0x+…+0x
01122pp
此经验方程进过样本中心(x,x,…,x；y),将坐标原点移至样本中心，即作坐标
12p
变换：x，二x一x
ijij
y，二y一y
ii
i=1,2,…,n;
j=1,2,…
,p上述经验方程即
精彩文档
转变为：y‘二B+0x+0x‘+…+0x即为中心化经验回归方程。中心化经验
01122pp
回归方程的常数项为0，而回归系数的最小二乘估计值0保持不变，因为坐标系j
平移变化只改变直线的截距，不改变直线的斜率。
2、标准化回归系数为了消除量纲不同和数量级的差异所带来的影响，就需要将样本数据作标准化处理，然后用最小二乘法估计未知参数，求