文档介绍：多元线性回归模型——简单线性回归模型的推广
多元线性回归模型
简单线性回归模型的推广
第一节多元线性回归模型的概念
在许多实际问题中,我们所研究的因变量的变动可能不仅与一个解释变量有关。因此,有必要考虑线性模型的更一般形式,即多元线性回归模型:
t=1,2,…,n
在这个模型中,Y由X1,X2,X3, …XK所解释,有K+1个未知参数β0、β1、β2、…βK 。
这里,“斜率”βj的含义是其它变量不变的情况下,Xj改变一个单位对因变量所产生的影响。
例1:
其中,Y=在食品上的总支出
X=个人可支配收入
P=食品价格指数
用美国1959-1983年的数据,得到如下回归结果(括号中数字为标准误差):
Y和X的计量单位为10亿美元(按1972不变价格计算)1>.
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下:
价格不变的情况下,个人可支配收入每上升10亿美元(1个billion),( billion)。
收入不变的情况下,价格指数每上升一个点,
()
例2:
其中,Ct=消费,Dt=居民可支配收入
Lt=居民拥有的流动资产水平
β2的含义是,在流动资产不变的情况下,可支配收入变动一个单位对消费额的影响。这是收入对消费额的直接影响。
收入变动对消费额的总影响=直接影响+间接影响。
(间接影响:收入影响流动资产拥有量??影响消费额)
但在模型中这种间接影响应归因于流动资产,而不是收入,因而,β2只包括收入的直接影响。
在下面的模型中:
这里,β是可支配收入对消费额的总影响,显然β和β2的
含义是不同的。
回到一般模型
t=1,2,…,n
即对于n组观测值,有
其矩阵形式为:
其中
第二节多元线性回归模型的估计
多元线性回归模型的估计与双变量线性模型类似,仍采用最小二乘法。当然,计算要复杂得多,通常要借助计算机。理论推导需借助矩阵代数。下面给出最小二乘法应用于多元线性回归模型的假设条件、估计结果及所得到的估计量的性质。
(1)E(ut)=0, t=1,2,…,n
(2)E(ui uj)=0, i≠j
(3)E(ut2)=σ2, t=1,2,…,n
(4)Xjt是非随机量, j=1,2, … k t=1,2, … n
除上面4条外,在多个解释变量的情况下,还有两个条件需要满足:
(5)(K+1)< n;
即观测值的数目要大于待估计的参数的个数
(要有足够数量的数据来拟合回归线)。
(6)各解释变量之间不存在严格的线性关系。
上述假设条件可用矩阵表示为以下四个条件:
(1) E(u)=0
(2)
由于
显然, 仅当
E(ui uj)=0 , i≠j
E(ut2) = σ2, t=1,2,…,n
这两个条件成立时才成立,因此, 此条件相当前面条件(2), (3)两条,即各期扰动项互不相关,并具有常数方差。
(3) X 是 是一个非随机元素矩阵。
(4)Rank(X) = (K+1) < n. ------相当于前面(5)、(6) 两条
即矩阵X的秩=(K+1)< n
当然,为了后面区间估计和假设检验的需要,还要加
上一条:
(5) ~ ,t=1,2,…n
我们的模型是:
t=1,2,…n
问题是选择,使得残差平方和最小。
残差为:
要使残差平方和
为最小,则应有:
我们得到如下K+1个方程(即正规方程):
按矩阵形式,上述方程组可表示为:
=
即
上述结果,亦可从矩阵表示的模型
出发,
完全用矩阵代数推导出来。
残差可用矩阵表示为:
其中:
残差平方和
注意到上式中所有项都是标量,且
故
令
用矩阵微分法,我们可得到
与采用标量式推导所得结果相同。由上述结果,我们有
三. 最小二乘估计量的性质
我们的模型为
估计式为
1. 的均值
(由假设3)
(由假设1)
即
这表明,OLS估计量是无偏估计量。
2. 的方差
为求Var( ),我们考虑
这是一个(K+1)*(K+1)矩阵,其主对角线上元素即构成
Var( ),非主对角线元素是相应的协方差,如下所示:
下面推导此矩阵的计算公式.
由上一段的结果,我们有
因此,
如前所述,我们得到的实际上不仅是的方差,而且