文档介绍：§ 多元线性回归模型的统计检验
多元线性回归模型的参数估计出来后,即求出样本回归函数后,还需进一步对该样本回归函数进行统计检验,以判定估计的可靠程度。包括拟合优度检验、方程总体线性性显著性检验、变量显著性检验以及参数的置信区间估计等方面。
一、拟合优度检验
1、可决系数与调整的可决系数
在一元线性回归模型中,使用可决系数来衡量样本回归线对样本观测值的拟合程度。在多元线性回归模型中,我们也可用该统计量来衡量样本回归线对样本观测值的拟合程度。
记为总离差平方和,为回归平方和,为剩余平方和,则

由于

=0
所以有:
()
即总离差平方和可分解为回归平方和与剩余平方和两部分。回归平方和反映了总离差平方和中可由样本回归线解释的部分,它越大,剩余平方和越小,表明样本回归线与样本观测值的拟合程度越高。因此,可用回归平方和占总离差平方和的比重来衡量样本回归线对样本观测值的拟合程度:
()
该统计量越接近于1,模型的拟合优度越高。
在应用过程中发现,如果在模型中增加一个解释变量,往往增大。这是因为残差平方和往往随着解释变量个数的增加而减少,至少不会增加。这就给人一个错觉:要使得模型拟合得好,只要增加解释变量即可。但是,现实情况往往是,由增加解释变量个数引起的的增大与拟合好坏无关,因此在多元回归模型之间比较拟合优度,就不是一个适合的指标,必须加以调整。
在样本容量一定的情况下,增加解释变量必定使得自由度减少,所以调整的思路是将残差平方和与总离差平方和分别除以各自的自由度,以剔除变量个数对拟合优度的影响。记为调整的可决系数(adjusted coefficient of determination),则有
()
其中为残差平方和的自由度,为总离差平方和的自由度。显然,如果增加的解释变量没有解释能力,则对残差平方和RSS的减小没有多大帮助,却增加待估参数的个数,从而使有较大幅度的下降。
调整的可决系数与未经调整的可决系数这间存在如下关系:
()
在实际应用中,达到多大才算模型通过了检验?没有绝对的标准,要看具体情况而定。模型的拟合优度并不是判断模型质量的唯一标准,有时甚至为了追求模型的经济意义,可以牺牲一点拟合优度。而且,在下一部分中,我们将推导出与另一个统计量的关系,那时会对有新的认识。
,=,=,这应该说是很好的拟合结果了。
*2、赤池信息准则和施瓦茨准则
为了比较所含解释变量个数不同的多元回归模型的拟合优度,常用的标准还有赤池信息准则(Akaike information criterion, AIC)和施瓦茨准则(Schwarz criterion,SC),其定义分别为
()
()
这两准则均要求仅当所增加的解释变量能够减少AIC值或AC值时才在原模型中增加该解释变量。显然,与调整的可决系数相仿,如果增加的解释变量没有解释能力,则对残差平方和的减小没有多大帮助,却增加待估参数的个数,这时可能导致AIC或AC的值增加。
,,