文档介绍：第七章带有线性约束的多元线性回归模型及其假设检验
第七章带有线性约束的多元线性回归模型及其假设检验
在本章中,继续讨论第五章的模型,但新的模型中,参数β满足J个线性约束集,Rβ=q,矩阵R有和β相一致的K列和总共J个约束的J行,且R是行满秩的,我们考虑不是过度约束的情况,因此,J<K。
带有线性约束的参数的假设检验,我们可以用两种方法来处理。第一个方法,我们按照无约束条件求出一组参数估计后,然后我们对求出的这组参数是否满足假设所暗示的约束,进行检验,我们在本章的第一节中讨论。
第二个方法是我们把参数所满足的线性约束和模型一起考虑,求出参数的最小二乘解,尔后再作检验,后者就是参数带有约束的最小二乘估计方法,我们在本章的第二节中讨论。
第一节线性约束的检验
从线性回归模型开始,
(1)
我们考虑具有如下形式的一组线性约束,
这些可以用矩阵改写成一个方程
(2)
作为我们的假设条件。
R中每一行都是一个约束中的系数。矩阵R有和β相一致的K列和总共J个约束的J行,且R是行满秩的。因此,J一定要小于或等于K。R的各行必须是线性无关的,虽然J=K的情况并不违反条件,但其唯一决定了β,这样的约束没有意义,我们不考虑这种情况。
给定最小二乘估计量b,我们的兴趣集中于“差异”向量d=Rb-q。d精确等于0是不可能的事件(因为其概率是0),统计问题是d对0的离差是否可归因于抽样误差或它是否是显著的。
由于b是多元正态分布的,且d是b的一个线性函数,所以d也是多元正态分布的,若原假设为真,d的均值为0,方差为
(3)
对H0的检验我们可以将其基于沃尔德(Wald)准则:
= (4)
在假设正确时将服从自由度为J的分布(为什么?)。
直觉上,d越大,即最小二乘满足约束的错误越大,则统计量越大,所以,一个大的值将加重对假设的怀疑。
(5)
由于σ未知,(4)中的统计量是不可用的,用s2替代σ2,我们可以导出一个F[J,(n-K)]样本统计量,令
(6)
分子是(1/J)乘(4)中的W,分母是1/(n-K)乘(5)中的幂等二次型。所以,F是两个除以其自由度的卡方变量的比率。如果它们是独立的,则F的分布是F[J,(n-K)],我们前边发现b是独立于s2分布的,所以条件是满足的。
我们也可以直接推导。利用(5)及M是幂等的这一事实,我们可以把F写为
(7)
由于
F统计量是的两个二次型的比率,由于M和T都服从正态分布且它们的协方差TM为0,所以二次型的向量都是独立的。F的分子和分母都是独立随机向量的函数,因而它们也是独立的。这就完成了证明。
消掉(6)中的两个σ2,剩下的是检验一个线性假设的F统计量,
(8)
我们将检验统计量
和F分布表中的临界值相比较,一个大的F值是反对假设的证据。
注意:将wald统计量中的用去替代,相应的就将J维的卡方分布转换为维度为(J,n-K)的F分布。
第二节参数带有约束的最小二乘估计
一、带有约束的最小二乘函数
在许多问题中,要求其中的未知参数β满足某特定的线性约束条件:Rβ=q,这里R是J×K矩阵(J<K),并假定它的秩为J维向量,常常希望求β的估计,使得
(9)
满足条件(9)的称为β的具有线性约束Rβ=q的最小二乘估计。
解的问题实际上是在约束条件
Rβ=q
下求
的限制极值点问题。
这个问题的一个拉格朗日解可写作
解b*和λ将满足必要条件
展开可以得到分块矩阵方程
或
Wd*=v
假定括号中的分块矩阵是非奇异的,约束最小二乘估计量
d*=W-1v
where
的解。此外,若X′X是非奇异的,则用分块逆公式可以得到b*和λ的显示解
和
格林和西克斯(1991)表明b*的协方差矩阵简单地就是乘以W-1的左上块,在X′X是非奇异的通常情况下,再一次可以得到一个显性公式
,
这样,
(一个非负定矩阵),
Var[b*]的方差比Var[b]小的一个解释是约束条件提供了更多的信息价值。
二、对约束的检验的另一个方法
令,我们来计算新的离差平方和。
则新的离差平方和是
因为新的模型中参数的个数为k-J个,J个榆树条件是原模型中的J个参数可以被其他k-J个表示。
(此表达式中的中间项含有X′e,它是0)。这说明我们可以将一个约束检验基于拟合的损失。这个损失是,
这出现在前边推导的F统计量的分子上,我们得到统计量的另一个可选形式。
可选形式是
最后,以SST=除F的分子和分母,我们得到第三种形式,
由于两个模型的拟合之差直接体现在检验统计量中,这个形式具有一些直观吸引力。
[实例]对数变换生产函数
所有科布—道格拉斯模型的一般化是如下的对数变换模型,
(10)
无