文档介绍：计量经济学第三章多元线性回归模型第三章多元线性回归模型多元线性回归模型及其古典假设参数估计最小二乘估计量的统计特性统计显著性检验解释变量的选择中心化和标准化回归方程利用多元线性回归方程进行预测第一节多元线性回归模型及其古典假设一、多元线性回归模型的一般形式二、多元线性回归模型的基本假定一、多元线性回归模型的一般形式如果被解释变量(因变量)y与k个解释变量(自变量)x1,x2,…,xk之间有线性相关关系,那么他们之间的多元线性总体回归模型可以表示为:(31>.1)其中,β0,β1,β2,…,βk是k+1个未知参数,即回归系数,u是随机误差项。习惯上:把常数项看成为一虚变量的系数,该虚变量的样本观测值始终取1,这样模型中解释变量的数目也为k+1。如:考虑劳动力预期受教育年数问题。edu为劳动力受教育年数,sibs为该劳动力家庭中兄弟姐妹的个数,medu与fedu分别为母亲与父亲受到教育的年数。如果将n组实际观测数据(yi,x1i,x2i,…,xki),i=1,2,…,n代入i=1,2,…,n可以得到下列形式:()也被称为总体回归模型的随机表达形式。它的非随机表达式为:方程表示:各变量x值固定时y的平均响应。??j也被称为偏回归系数,表示在其他解释变量保持不变的情况下,xj每变化1个单位时,y的均值E(y)的变化;或者说??j给出了xj的单位变化对y均值的“直接”或“净”(不含其他变量)影响。总体回归模型n个随机方程的为:将其写为矩阵形式为:其中:()二、多元线性回归模型的基本假定假设1,随机误差项ui的条件期望值为零假设2,随机误差项ui的条件方差相等假设3,随机误差项ui之间无序列相关(i,j=1,2,…,n;i≠j)假设2,假设3,又称Gauss-Markov假设,将起合并记为:Var-Cov(U)=E(UUT)假设4自变量xl与随机误差项ui独立Cov(ui,xl)=0(i=1,2,…,n;l=1,2,…,k)假设5随机误差项ui服从正态分布假设6解释变量之间不存在显著的线性相关关系,也即自变量之间不存在多重共线性,也就是矩阵X的秩等于参数个数:rank(X)=k+1<n第二节参数估计一、样本回归模型与样本回归方程二、参数的最小二乘估计(OLS)三、参数的极大似然估计(ML)对于若干个观测(样本)点(x1,x2,…,xk;y)自变量x1,x2,…,xk和y之间存在线性相关关系,则:一、样本回归模型与样本回归方程()()式称为样本回归模型,它由两部分组成。其中称为系统分量,是可以被自变量解释的部分;ei是不能被自变量解释的部分称为残差或剩余项(residuals),可看成是总体回归模型中随机扰动项ui的近似替代。样本回归模型的矩阵表达:其中:对样本回归模型的系统分量的系数进行估计可得样本回归方程:其中:其中,是y的系统分量,即由自变量决定的理论值,分别是??0,??1,…,??k的无偏估计量。样本回归方程的矩阵形式为:()二、参数的最小二乘估计根据最小二乘原理:参数估计值应该是下列方程组的解整理得到关于待估参数估计值的正规方程组:利用克莱姆法则,解该k+1个方程组成的线性方程组,即可解得。()正规方程组()的矩阵形式即:由于Rank(X)=k+1,故XTX满秩,故有:==(XTX)-1XTY()上述问题也可以用以下矩阵方法来推导:因为都是标量,所以二者相等,故:()化简得:由于Rank(X)=k+1,故XTX满秩,故有:=(XTX)-1XTY()例3-1搜集某地区有关数据如下,建立消费关于收入和人口的二元回归方程。转数据。一、线性由(),()式知:=(XTX)-1XTY=(XTX)-1XTX??+(XTX)-1XTU=??+(XTX)-1XTU()这说明,最小二乘估计量不仅是Y的线性组合,也是U的线性组合。=(XTX)-1XTY第三节最小二乘估计量的统计特性在满足基本假设的情况下,其结构参数仍具有BLUE特性(Gauss-Markov定理):线性、无偏性、最优性等统计特性。二、无偏性对()两边期望得:E()=E[(XTX)-1XTY]=(XTX)-1XTE(Y)=(XTX)-1XTE(Xβ+U)=(XTX)-1(XTX)E(β)+(XTX)-1XTE(U)=β类似的:E()=E[β+(XTX)-1XTU]=β(这里利用了假设:E(XTU)=0)三、最优性考察一下参数估计量的协方差矩阵:又:j=0,1,2,…,k()其中,Cjj是(XTX)-1主对角线上的元素。所以,矩阵主对角线上的元素是的方差,其他元素为和的协方差。于是的方差记作:设β*=AY也是β的一个线性无偏估计量,则:由于β*是无偏估计量,则E(β*)=β,所以:AX=I.