文档介绍：第四章方差分量线性回归模型
本章考虑的线性模型不仅有固定效应、随机误差,而且有随机效应。我们先从随机效应角度理解回归概念,导出方差分量模型,然后研究模型三种主要解法。最后本章介绍关于方差分量模型的两个前沿研究成果,是作者近期在《应用数学学报》munications in Statistics》上发表的。
第一节随机效应与方差分量模型
一、随机效应回归模型
前面所介绍的回归模型不仅都是线性的,而且自变量看作是固定效应。我们从资料对出发建立回归模型,过去一直是把Y看作随机的,X1,…,Xp看作非随机的。但是实际上,自变量也经常是随机的,而并不是我们可以事先设计好的设计矩阵。我们把自变量也是随机变量的回归模型称为随机效应回归模型。
究竟一个回归模型的自变量是随机的还是非随机的,要视具体情况而定。比如一般情况下消费函数可写为
()
这里X是居民收入,T是税收,C0是生存基本消费,b是待估系数。加上随机扰动项,就是一元线性回归模型
()
那么自变量到底是固定效应还是随机效应?那要看你采样情况。如果你是按一定收入的家庭去调查他的消费,那是取设计矩阵,固定效应。如果你是随机抽取一些家庭,不管他收入如何都登记他的收入与消费,那就是随机效应。
对于随机效应的回归模型,我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。
我们希望通过X预测Y,也就是要寻找一个函数,当X的观察值为x时,这个预测的误差平均起来应达到最小,即
()
这里min是对一切X的可测函数L(X)取极小。由于当
()
时,容易证明
()
故当时,
()
要使上式左边极小,只有取。
这个结果告诉我们,预测函数取作条件期望E(Y|X)时,可使预测误差最小。我们还可以证明,此时M(X)=E(Y|X)与Y具有最大相关,即
()
这里ρ表示相关系数。
这是因为当时,易证,同时,于是
等号当且仅当
()
时成立,此时L(X)是M(X)的线性函数。
()与()表达了的极好性质,我们称
()
为Y关于X的回归曲线。
上面的L(X)可取一切函数。如果限定L(X)是X的线性函数,即要限定
()
这里是对X的一切线性函数取极小,则称满足上式的线性函数为Y关于X的回归直线。我们可以求出的解。记,则
()
这里
()
()
()
对L(β0,β)求微分(矩阵微商公式)得:
()
解得
()
这里当然假定存在,否则使用广义逆。
此时的预测误差方差是
()
()
为复相关系数。它指出了Y与多元变量之间的线性相关程度,是一元相关系数
()
的推广。
从条件期望角度我们导出的随机效应回归模型的回归直线表达式,与从最小二乘角度导出的固定效应的回归方程,表达式是等价的,所以从计算角度,我们不怎么区分。
二、方差分量模型概念
上段我们建立了随机效应概念,将自变量也视作随机变量,这就可以导出方差分量模型。方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭马录先生。
还是刚才提到的消费函数回归模型,我们作随机抽样。考虑居民按职业的分类,如工人、教师、医生、律师、店员等等,记为,我们从这些职业中随机抽取了n个样本,则模型可写为
()
这里Xi可看作是第i种职业对收入的效应。如果我们事先安排好取哪个职业的,当然Xi是固定效应。可是我们现在对职业选取是随机的,而且我们还想研究职业效应的方差,这就导入了方差分量模型,因为现在Cij的方差由两部分组成:
()
为了数学符号统一,我们将经济学中的符号改过来,刚才建立的模型是
()
它有一项固定效应μ,一项随机效应ξ1,一项随机误差ε。如果还要考虑地区因素对消费的影响,还可以加进第二个随机效应ξ2,于是可得模型
()
这次我们省掉了取值的标记,Y的方差由三项组成。
一般地,我们建立方差分量模型如下:
()
这里有固定效应向量β,随机效应向量
()
并且将随机误差项ε也并入了随机效应向量去。设计矩阵X以及
()
都是已知的。对于随机效应,合理的假定是
()
当然以后有时还可以考虑ξi是向量的情况,不过这里假定每个ξi是一维变量。记
, ()
则方差分量模型可记为
()
模型的主要任务是要估计固定效应向量β与方差