文档介绍：第九章回归分析
教学要求
一元线性回归及线性相关显著性的检验法，利用线性回归方程进行预测。
可线性化的非线性回归问题及简单的多元线性回归。
■本章重点：理解线性模型，回归模型的概念，掌握线性模型中参数估计的 最小二乘法估计法。
•
i=1
=1
f 3 一沁-亍）=乙「1（乙）（» ）
xy i i i i n i i
i=1 i=1 1 1
称y = a + bx为经验回归（直线方程），或经验公式。
例1某种合成纤维的强度与其拉伸倍数有关。下表是24个纤维样品的强
度与才目应的拉伸倍数的实测记录。试求这两个变量间的经验公式
编
号
1
2
3
4
5
6
7
8
9
10
11
12
拉伸倍数X
强度y
(Mpa)
编
号
13
14
15
16
17
18
19
20
21
22
23
24
拉伸倍数x
强度y
(Mpa)
将观察值（七，y），i=1, ,24在平面直角坐标系下用点标出，所得的图称为
散点图。从本例的散点图看出，强度y与拉伸倍数x之间大致呈现线性相关关系，
一元线性回归模型是适用y与x的。现用公式〔〕求a,b，这里n=24
£ x = , £ y =
V ' V
x2 = , £ y2 = , £ . =
L = - 土 x =
L = - — x x = y 24
L = - £ x =
L/
--b = -^ = a = y — bx =
L
xx
由此得强度y与拉伸倍数X之间的经验公式为y = +
三、最小二乘估计a, b的基本性质
一元线性回归模型（）中，a、b的最小二乘估计a,b满足:
(2)
(3)
Ea = a Eb = b ,
D(a)= (- + )b 2,
n L
xx
cov(a, b) = -b 2
D (b) = — b 2
L
xx
证：(1)注意到对任意i=1,2,……口有
Ey, = a + bx ,
Dy =b 2,
Ey = a + bx,
E(y, - y) = Ey, - Ey = b(x, - x)2
bE (x - x)2 于是£七=—!— EE (x - x)( y - y) = = b
,=1
Ea = Ey - xEb = a + bx - bx = a
⑵利用E(x -x) = 0,将a、b表示为: i
=1
()
,1 E, 、 -、 1 E, -、
b = — E (xi - x)(y^ — y) = — E (x^ - x)y^ i=1 _ i=1
()
a=1 Ey-x=E [1-土正]y
n . ， , n Lxx
由于y,y, ,y相互独立，有
V 2 n
〜入 1 V, —、 b2
D(b) = E (x - x)2b 2 =
L2 i Lxx
E" f1 (x - x) x
D(a) = E[-- ———]2b 2 n Lxx
」[1+E (xi—x)2 x 2 ]b 2
n _ L ii=1 xx
1 x2
=(—+ ——)b 2 n L
xx _ _ _
cov(a, b)=E 宰) [!-堕痒]b 2 L n L
•=1 汽_ 击
E(xi-x)2 xb 2 =-_L b 2 i=1 xx xx
，a、b的最小二乘估计a、b是无偏的，从()，()还知道它
们又是线性的，因此()所示的最小二乘估计a、b分别是a、b的线性无偏估计。
§.2建立回归方程后进一步的统计分析
、02的无偏估计
由于E是误差卯=1, ,n)的方差，
i
i
如果[能观测，自然想到用1 * 8 2来估计
- i
由E* = a+bx,=勇(即e^的估计)，就应 因此，’想到用
Q然而[是观测不到的，能观测的是七 用残差 x. — X,来估计
1 *(X — X )2 = 1 *(X - a—bx )2 = 1 Q(a,b) n i ， n i ， n
无偏估计，为此需求残差平方和Q(a,b)的数学期望，由定理可推出
E[Q(a,b)] = (n — 2)b 2(学员自验)
于是得b 2 = Q(a, b) =L * (X — X )2为茅的无偏估计，例如§例1中 n — 2 n —