文档介绍：一元线性回归模型

有一元线性回归模型(统计模型)如下,
yt = b0 + b1 xt + ut
上式表示变量yt 和xt之间的真实关系。其中yt 称被解释变量(因变量),xt称解释变量(自变量),ut称随机误差项,b0称常数项,b1称回归系数(通常未知)。上模型可以分为两部分。(1)回归函数部分,E(yt) = b0 + b1 xt,(2)随机部分,ut 。
真实的回归直线
这种模型可以赋予各种实际意义,收入与支出的关系;如脉搏与血压的关系;商品价格与供给量的关系;文件容量与保存时间的关系;林区木材采伐量与木材剩余物的关系;身高与体重的关系等。
以收入与支出的关系为例。假设固定对一个家庭进行观察,随着收入水平的不同,与支出呈线性函数关系。但实际上数据来自各个家庭,来自各个不同收入水平,使其他条件不变成为不可能,所以由数据得到的散点图不在一条直线上(不呈函数关系),而是散在直线周围,服从统计关系。随机误差项ut中可能包括家庭人口数不同,消费****惯不同,不同地域的消费指数不同,不同家庭的外来收入不同等因素。所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容,(1)非重要解释变量的省略,(2)人的随机行为,(3)数学模型形式欠妥,(4)归并误差(粮食的归并)(5)测量误差等。
回归模型存在两个特点。(1)建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。(2)也正是由于这些假定与抽象,才使我们能够透过复杂的经济现象,深刻认识到该经济过程的本质。
通常线性回归函数E(yt) = b0 + b1 xt 是观察不到的,利用样本得到的只是对E(yt) = b0 + b1 xt 的估计,即对b0和b1的估计。
在对回归函数进行估计之前应该对随机误差项ut做出如下假定。
(1) ut 是一个随机变量,ut 的取值服从概率分布。
(2) E(ut) = 0。
(3) D(ut) = E[ut - E(ut) ]2 = E(ut)2 = s 2。称ui 具有同方差性。
(4) ut 为正态分布(根据中心极限定理)。
以上四个假定可作如下表达。ut ~ N (0, s 2 )。
(5) Cov(ui, uj) = E[(ui - E(ui) ) ( uj - E(uj) )] = E(ui, uj) = 0, (i ¹ j )。含义是不同观测值所对应的随机项相互独立。称为ui 的非自相关性。
(6) xi是非随机的。
(7) Cov(ui, xi) = E[(ui - E(ui) ) (xi - E(xi) )] = E[ui (xi - E(xi) ] = E[ui xi - ui E(xi) ] = E(ui xi) = 0.
ui 与xi 相互独立。否则,分不清是谁对yt的贡献。
(8) 对于多元线性回归模型,解释变量之间不能完全相关或高度相关(非多重共线性)。
在假定(1),(2)成立条件下有E(yt) = E(b0 + b1 xt + ut ) = b0 + b1 xt 。
(OLS)
对于所研究的经济问题,通常真实的回归直线是观测不到的。收集样本的目的就是要对这条真实的回归直线做出估计。
怎样估计这条直线呢?显然综合起来看,这条直线处于样本数据的中心位置最合理。怎样用数学语言描述“处于样本数据的中心位置”?设估计的直线用
=+ xt
表示。其中称yt的拟合值(fitted value),和分别是 b0 和b1的估计量。观测值到这条直线的纵向距离用表示,称为残差。
yt =+=+ xt +
称为估计的模型。假定样本容量为T。(1)用“残差和最小”确定直线位置是一个途径。但很快发现计算“残差和”存在相互抵消的问题。(2)用“残差绝对值和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。(3)最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外,得到的估计量还具有优良特性。(这种方法对异常值非常敏感)设残差平方和用Q表示,
Q = = = ,
则通过Q最小确定这条直线,即确定和的估计值。以和为变量,把Q看作是和的函数,这是一个求极值的问题。求Q对和的偏导数并令其为零,得正规方程,
= 2(-1) = 0 (1)
= 2(- xt) = 0 (2)
下面用代数和矩阵两种形式推导计算结果。首先用代数形式推导。由(1)、(2)式得,
= 0 (3)
xt = 0 (4)
(3)式两侧用除T,并整理得,
= (5)
把(5)式代入(4)式并整理,得,
xt = 0 (6)
= 0 (7)