文档介绍：一元线性回归分析1一元回归分析在进行回归分析时,我们必需知道或假定在两个随机之间存在着一定的关系。这种关系可以用Y的函数的形式表示出来,即丫是所谓的因变量,它仅仅依赖于自变量X,它们之间的关系可以用方程式表示。在最简单的情况下,丫与X之间的关系是线性关系。用线性函数a+bX来估计Y的数学期望的问题称为一元线性回归问题。即,上述估计问题相当于对X的每一个值,假设E(y)=a^bx9而且,y〜+ ,其中a,b,O2都是未知参数,并且不依赖于X。对y作这样的正态假设,相当于设:y=a+bx+£ (3)其中£〜,为随机误差,a,b,o2都是未知参数。这种线性关系的确定常常可以通过两类方法,一类是根据实际问题所对应的理论分析,如各种经济理论常常会揭示一些基本的数量关系;另一种直观的方法是通过Y与X的散点图来初步确认。对于公式(3)中的系数a、b,需要由观察值(“」)来进行估计。如果由样本得到了a,b的估计值为&,几则对于给定的x,a+bx的估计为&+以,记作八它也就是我们对y的估计。方程y-a+hx (4)称为y对x的线性回归方程,或回归方程,其图形称为回归直线。例仁有一种溶剂在不同的温度下其在一定量的水中的溶解度不同,现测得这种溶剂在温度x下,溶解于水中的数量y如下表所示:,y是随机变量,我们耍求y对x的冋归。其散点图如下:1301201**********>60-10 0 10 20 30 40 50 60 70X2•确定回归系数(应用最小二乘法)在样木的容量为n的情况下,我们我们可以得到n对观察值为(x,z.)o现在我们要利用这n对观察值来估计参数a,bo显然,y的估计值为:y=a+hx在上式中a,b为待估计的参数。估计这两个参数的方法有极大似然法和最小二乘法。其中最小二乘法是求经验公式时最常用的一种方法,也最简单。现在就采用这种方法。当我们做出这一对变量观察值的散点图后,我们可以看出,我们所要求的回归直线,实际上是这样的一条直线,即,使所求的直线能够最好的拟合已有的所有点,或者说要使图上所有的点到这条直线的距离最近。因此所要求的直线实际上就是使所有的点与这条直线间的误差最小的直线。我们用x表示y的样本观察值,刃表示根据回归方程所得到的y的估计值,则估计值与实际观察值之间的误茅为,ei=yi-yi=yi-a-bxi其总的误差,可以表示为误差的平方和的形式,-a-bxt) (6)现在要使上式取得极小值,只需令Q对a,b的一阶偏导等于0,因此:薯楚/—“"iodb db由此可解得如下结果:E-2为(X—元)(y—y)元尸其中久厶就是参数a,b的无偏估计。此外,所谓最小二乘估计,实际上就是使误差的平方和最小的估计。估计出了回归方程的系数,我们就可以在给定的x值的情况下对y进行估计,或预测。例2:求例1中的y关于x的回归方程。解:此处,n=9,有关回归方程计算所需要的数据如下:Xyx2/=9,x=—=26,y= = 99 2工(兀_无)=406C/=!92工(必-刃=308398229工3-劝®-刃=35348/=(兀一元)®—刃35348b=― =土竺=^.-x)2 4060/=1a=y-hx=: (Constant):Y因此所求的回归直线方程为:y=+•参数估计量的分布为了对前面所作的y与x是线性关系的假设的合理性进行检验,为了求出预测值的置信区间,我们必须知道所估计的参数的分布。1)・厶的分布:由于厶=£(旺-可(升-刃i=l/=!按假定,卩,歹2,…儿相互独立,而且已知y〜N(a+b2,),其中石为常数,所以由Z的表达式知5为独立正态变量儿沧…儿的线性组合,n于