文档介绍：第3章多元线性回归分析
第3章多元线性回归模型
33>.1 多元线性回归模型的估计
多元线性回归模型及其矩阵表示
在计量经济学中,将含有两个以上解释变量的回归模型叫做多元回归模型,相应地,在此基础上进行的回归分析就叫多元回归分析。
一般地,如果因变量y与解释变量之间服从如下关系:
()
则对因变量y及解释变量作n次观测后,所得n组观测样本()(t=1,2,)将满足如下关系:
()
这就是多元线性回归模型的一般形式。( ) (t=1,2,)为第t次观测样本;为模型参数;为随机误差项。
模型中的回归系数(j=1,2,…,k)就表示当其他解释变量不变的条件下,第j个解释变量的单位变动对因变量均值的影响。多元线性回归模型中这样的回归系数,称为偏回归系数。
由式(),可得y的期望函数:
()
它是解释变量的多元线性函数,称为多元线性总体回归方程。
假定通过适当的方法可估计出未知参数的值,用参数估计值替换总体回归函数的未知参数,就得到多元线性样本回归方程:
()
它是总体回归方程的估计,其中(j=0,1,2,…,k)是对总体回归参数的估计。
由样本回归方程得到的因变量估计值与实际观测值之间通常存在偏差,这一偏差就是残差。这样,与式()相对应,多元线性样本回归模型就形如
()
将n次观测样本所遵从的n个随机方程式()写成方程组的形式,有:
……
利用矩阵运算,可表示为:
()
记=为被解释变量的观测值向量; =为解释变量的观测值矩阵, =为总体回归参数向量, =为随机误差项向量。
则多元线性回归模型的矩阵表示如下:
()
它代表了总体变量间的真实关系。
类似地,多元线性回归方程矩阵表示如下:
()
它代表了总体变量间的依存规律。
多元线性样本回归模型用如下矩阵表示
()
它代表了样本显示的变量关系。
多元线性样本回归方程用如下矩阵表示
()
其中:=,=。它们分别为回归系数估计值向量和残差向量,、同前。式()代表了样本显示的变量依存规律。
多元线性回归模型的基本假定
假设l: 随机误差项的期望为零,即
假设2: 不同的随机误差项之间相互独立,即
()
假设3: 随机误差项的方差与t无关,为一个常数,即(t=1,2,…n)。即同方差假设。
假设4: 随机误差项与解释变量不相关,即(j=1,2,…k;t=1,2,…n)。通常假定为非随机变量。
假设5: 随机误差项为服从正态分布的随机变量,即。可以推断服从正态分布,参数(j=1,2,…k)也服从正态分布。
假设6: 解释变量之间不存在多重共线性,即假定各解释变量之间不存在线性关系,即不存在多重共线性。或者说各解释变量的观测值之间线性无关。
模型的假设使用矩阵形式表示更方便、更简洁。
假设1用矩阵形式表示:
= EMBED =0 ()
假设2、3用矩阵形式表示就是随机误差项的方差——协方差矩阵形如:
== EMBED
== ()
假设4可以表示为矩阵的所有元素均为非随机元素,即为确定的矩阵。用矩阵表示为:,即
==0
假设5可以表示为随机误差项向量服从多元正态分布,即。
假设6是说假定各解释变量之间不存在线性关系,方阵满秩。
多元线性回归模型的估计
设( EMBED )为第t次观测样本(t=1,2,…,n),为使残差
平方和
达到最小,根据极值原理有如下条件:
(j=0,1,2 …k) ()
即
……
上述(k+1)个方程称为正规方程。用矩阵表示就是:
EMBED ()
样本回归模型:两边同乘样本观测值矩阵的转置,有
将极值条件式()代入,得正规方程组:
()
由古典假定条件4知存在,用左乘上述方程两端,就得参数向量B的最小二乘估计为
()
下面我们举一例子来说明多元线性回归模型的参数估计。
特例,对于一元线性回归模型:
若给定解释变量x和被解释变量y的n对样本观测值,我们有
=
=
从而由可得=的普通最小二乘估计量=的正规方程组为
EMBED
这即是我们在统计学中十分熟悉的估计一元线性回归参数的正规方程组:
再由,我们可得到=的值为
= EMBED =
由此即可得出y对x的样本回