文档介绍：在现实生活中,变量与变量之间经常存在一定的关系,一般来说,可分为两大类,一类是确定性的关系,这种关系通常用函数来表示;另一类是非确定性关系,变量之间的这种非确定性关系通常称为相关关系。回归分析就是数理统计中研究相关关系的一种数学方法,它就是通过大量的试验或观测,发现变量之间关系的统计规律,它在工农业生产和科学研究各个领域中均有广泛应用。回归分析一般分为线性回归分析与非线性回归分析。本次课程着重介绍线性回归分析,它是两类回归分析中较为简单的一类,也是应用得较多的一类。四、线性回归模型为了研究方便,我们考虑一个变量受其它变量影响时,把这变量称为因变量,记为Y,其它变量称为自变量,记为X,这时相关关系可记作Y=f(x)+ε其中f(x)为当X=x时,因变量Y的均值,即f(x)=E(Y|X=x)称f(x)为Y对X的回归函数,ε为Y与f(x)的偏差,它是一个随机变量,假定E(ε)=0。回归函数可以是一元函数,也可以是多元函数,即Y=f(x1,x2,…,xm)+ε其中,f(x1,x2,…,xm)=E(Y|X1=x1,X2=x2,…Xm=xm)为m元回归函数,统称为多元回归函数。m=1,称为一元线性回归;m>1,称为是多元线性回归;若f(x1,x2,…,xm)是非线性函数,则称为非线性回归。问题(水泥凝固时放出热量问题)某种水泥在凝固时放出的热量y(卡/克)与水泥中下列4种化学成份有关。x1:3CaO·Al2O3的成份(%)x2:3CaO·SiO2的成份(%)x3:4CaO·Al2O3·Fe3O3的成份(%)x4:2CaO·SiO2的成份(%)现记录了13组数据,列在表1中,根据表中的数据,试研究y与x1,x2,x3,x4四种成份的关系。表1编号x1(%)x2(%)x3(%)x4(%)y(卡/克)**********.,多元线性回归模型可表示为建立线性回归模型其中,是未知参数,为了估计这些参数,将表1的值代入模型得其中,x1,x2,…,xm是自变量,b0,b1,b2,…,bm为回归系数且未知,统称为回归参数,一旦回归参数确定,则多元线性回归模型就完全确定,一般假定随机误差为了得到回归参数的估计值,就要对变量进行观测,假设对变量的n(n>m)次独立观测数据为(yi,xi1,xi2,…,xim),i=1~n,则这些观测数据应满足上式,即有则多元线性回归的数学模型式可以写成矩阵形式若记为了获得参数β的估计,我们采用最小二乘法,即选择β,使达到最小。将Q(β)对β求导数并令其为零,得回归系数的最小二乘估计模型参数估计此方程称为正规方程,其中X为n×(m+1)阶矩阵,一般假定rank(X)=m+1,由线性代数理论可知,L=XTX为满秩矩阵,它的秩rank(L)=m+1,则正规方程有唯一解,记作即记,则