文档介绍：多元线性回归与最小二乘估计
、最小二乘估计量和高斯—马尔可夫定理
多元线性回归模型:
yt = b0 +b1xt1 + b2xt2 +…+ bk- 1xt k -1 + ut , ()
其中yt是被解释变量(因变量),xt j是解释变量(自变量),ut是随机误差项,bi, i = 0, 1, …, k - 1是回归参数(通常未知)。
对经济问题的实际意义:yt与xt j存在线性关系,xt j, j = 0, 1, …, k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) = b0 +b1xt1 + b2xt2 +…+ bk- 1xt k -1 决定的k维空间平面。
当给定一个样本(yt , xt1, xt2 ,…, xt k -1), t = 1, 2, …, T时, 上述模型表示为
y1 = b0 +b1x11 + b2x12 +…+ bk- 1x1 k -1 + u1, 经济意义:xt j是yt的重要解释变量。
y2 = b0 +b1x21 + b2x22 +…+ bk- 1x2 k -1 + u2, 代数意义:yt与xt j存在线性关系。
……….. 几何意义:yt表示一个多维平面。
yT = b0 +b1x T 1 + b2x T 2 +…+ bk- 1x T k -1 + uT, ()
此时yt与x t i已知,bj与 ut未知。
()
Y = X b + u , ()
为保证得到最优估计量,回归模型()应满足如下假定条件。
假定⑴随机误差项ut是非自相关的,每一误差项都满足均值为零,方差 s2相同且为有限值,即
E(u) = 0 = , Var (u) = E(' ) = s 2I = s 2
假定⑵解释变量与误差项相互独立,即
E(X 'u) = 0
假定⑶解释变量之间线性无关。
rk(X 'X) = rk(X) = k
其中rk(×)表示矩阵的秩。
假定⑷解释变量是非随机的,且当T →∞时
T– 1X 'X → Q
其中Q是一个有限值的非退化矩阵。
最小二乘(OLS) 法的原理是求残差(误差项的估计值)平方和最小。代数上是求极值问题。
minS = (Y - X)' (Y - X) = Y 'Y -'X 'Y - Y ' X +'X 'X
= Y 'Y - 2'X 'Y + 'X 'X ()
因为Y 'X是一个标量,所以有Y 'X = 'X 'Y。() 的一阶条件为:
= - 2X 'Y + 2X 'X= 0 ()
化简得
X 'Y = X 'X
因为(X 'X) 是一个非退化矩阵(见假定⑶),所以有
= (X 'X)-1 X 'Y ()
因为X的元素是非随机的,(X 'X) -1X是一个常数矩阵,则是Y的线性组合,为线性估计量。
求出,估计的回归模型写为
Y = X+ ()
其中= ( …)' 是 b 的估计值列向量,= (Y - X) 称为残差列向量。因为
= Y - X= Y - X (X 'X)-1X 'Y = [I - X (X 'X)-1 X ' ]Y ()
所以也是Y的线性组合。的期望和方差是
E() = E[(X 'X)-1 X 'Y ] = E[(X 'X)-1X '(Xb + u)]
= b + (X 'X)-1X ' E(u) = b ()
Var() = E[(–b) (–b)']= E[(X 'X)-1X ' u u' X (X 'X)-1]
= E[(X 'X)-1X ' s 2I X (X 'X)-1] = s 2 (X 'X)-1 ()
高斯—马尔可夫定理:若前述假定条件成立,OLS估计量是最佳线性无偏估计量。具有无偏性。具有最小方差特性。具有一致性,渐近无偏性和渐近有效性。
2. 残差的方差
s2 = '/ (T - k) ()
s 2是s 2 的无偏估计量,E(s 2 ) =s 2。的估计的方差协方差矩阵是
() = s2 (X 'X)-1 ()
3. 多重确定系数(多重可决系数)
Y = X+=+ ()
总平方和
SST = = Y 'Y - T, ()
其中是yt 的样本平均数,定义为= 。回归平方和为
SSR = = '- T ()
其中的定义同上。残差平方和为
SSE = = = ' ()
则有如下关系存在,
SST = SSR + SSE ()
R2 = ()
显然有0 £ R 2 £