文档介绍：第九章回归分析
教学要求
,利用线性回归方程进行预测。
。
本章重点:理解线性模型,回归模型的概念,掌握线性模型中参数估计的最小二乘法估计法。
教学手段:讲练结合
课时分配:6课时
§ 一元线性回归
回归分析是研究变量之间相关关系的一种统计推断法。
例如,人的血压y与年龄x有关,这里x是一个普通变量,y是随机变量。Y与x 之间的相依关系f(x)受随机误差的干扰使之不能完全确定,故可设有:
()
式中f(x)称作回归函数,为随机误差或随机干扰,它是一个分布与x无关的随机变量,我们常假定它是均值为0的正态变量。为估计未知的回归函数f(x),我们通过n次独立观测,得x与y的n对实测数据(xi,yi)i=1,……,n,对f(x)作估计。
实际中常遇到的是多个自变量的情形。
例如在考察某化学反应时,发现反应速度y与催化剂用量x1,反应温度x2,所加压力x3等等多种因素有关。这里x1,x2,……都是可控制的普通变量,y是随机变量,y与诸xi间的依存关系受随机干扰和随机误差的影响,使之不能完全确定,故可假设有:
()
这里是不可观察的随机误差,它是分布与x1,……,xk无关的随机变量,一般设其均值为0,这里的多元函数f(x1,……,xk)称为回归函数,为了估计未知的回归函数,同样可作n次独立观察,基于观测值去估计f(x1,……,xk)。
以下的讨论中我们总称自变量x1,x2,……,xk为控制变量,y为响应变量,不难想象,如对回归函数f(x1,……,xk)的形式不作任何假设,问题过于一般,将难以处理,所以本章将主要讨论y和控制变量x1,x2,……,xk呈现线性相关关系的情形,即假定
f(x1,……,xk)=b0+b1x1+……+bkxk。
并称由它确定的模型() (k=1)及()为线性回归模型,对于线性回归模型,估计回归函数f(x1,……,xk)就转化为估计系数b0、bi(i=1,……,k) 。
当线性回归模型只有一个控制变量时,称为一元线性回归模型,有多个控制变量时称为多元线性回归模型,本着由浅入深的原则,我们重点讨论一元的,在此基础上简单介绍多元的。
§ 一元线性回归
一、一元线性回归的数学模型
前面我们曾提到,在一元线性回归中,有两个变量,其中x是可观测、可控制的普通变量,常称它为自变量或控制变量,y为随机变量,常称其为因变量或响应变量。通过散点图或计算相关系数判定y与x之间存在着显著的线性相关关系,即y与x之间存在如下关系:
y=a+bx+ ()
通常认为~N(0,σ2)且假设σ2与x无关。将观测数据(xi,yi)(i=1,……,n)代入()再注意样本为简单随机样本得:
()
称()或()(又称为数据结构式)所确定的模型为一元(正态)线性回归模型。对其进行统计分析称为一元线性回归分析。
不难理解模型()中EY=a+bx,若记y=E(Y),则y=a+bx,就是所谓的一元线性回归方程,其图象就是回归直线,b为回归系数,a称为回归常数,有时也通称a、b为回归系数。
我们对一元线性回归模型主要讨论如下的三项问题:
(1) 对参数a,b和σ2进行点估计,估计量称为样本回归系数或经验回归系数,而称为经验回归直线方程,其图形相应地称为经验回归直线。
(2) 在模型()下检验y与x之间是否线性相关。
(3) 利用求得的经验回归直线,通过x对y进行预测或控制。
二、a、b的最小二乘估计、经验公式
现讨论如何根据观测值(xi,yi),i=1,2,……,n估计模型()中回归函数f(x)=a+bx中的回归系数。
采用最小二乘法,记平方和
()
找使Q()达到最小的a、b作为其估计,即
为此,令
化简得如教材所示的方程组(称为模型的正规方程)
解得()
()所示的分别称为a、b的最小二乘估计,式中
称为经验回归(直线方程),或经验公式。
例1 某种合成纤维的强度与其拉伸倍数有关。下表是24个纤维样品的强度与相应的拉伸倍数的实测记录。试求这两个变量间的经验公式。
编号
1
2
3
4
5
6
7
8
9
10
11
12
拉伸倍数x
强度y (Mpa)
编号
13
14
15
16