多元线性回归.ppt

文档介绍：§ 多元线性回归模型的估计
估计方法：OLS、ML或者MM
一、普通最小二乘估计
*二、最大或然估计
*三、矩估计
四、参数估计量的性质
五、样本容量问题
六、估计实例
1
一、普通最小二乘估计
对于随机抽取的n组观测值
如果样本函数的参数估计值已经得到，则有：
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
其中
2
于是得到关于待估参数估计值的正规方程组：
3
正规方程组的矩阵形式
即
由于X’X满秩，故有
4
将上述过程用矩阵表示如下：
即求解方程组：
得到：
于是：
5
：-消费支出例中，
可求得
于是
6
⃟正规方程组 的另一种写法
对于正规方程组
于是
或
(*)或（**）是多元线性回归模型正规方程组的另一种写法
(*)
(**)
7
⃟样本回归函数的离差形式
i=1,2…n
其矩阵形式为
其中 ：
在离差形式下，参数的最小二乘估计结果为
8
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估计量为
9
*二、最大或然估计
对于多元线性回归模型
易知
Y的随机抽取的n组样本观测值的联合概率
即为变量Y的或然函数
10