文档介绍：一元线性回归分析
1一元回归分析
在进行回归分析时，我们必需知道或假定在两个随机之间存在着 一定的关系。这种关系可以用Y的函数的形式表示出来，即丫是所 谓的因变量，它仅仅依赖于自变量X,它们之间的关系可以用方程式 表示。在最简单的情况下，丫与X之间的关系是线性关系。用线性函 数a+bX来估计Y的数学期望的问题称为一元线性回归问题。即，上 述估计问题相当于对X的每一个值，假设E(y) = a + bx,而且， y〜N(a+bx&),其+ a, b, o2都是未知参数，并且不依赖于X。对y 作这样的正态假设,相当于设:
y = a+bx + ^ (3 )
其中£~MO。?)，为随机误差，a, b, o2都是未知参数。
这种线性关系的确定常常可以通过两类方法，一类是根据实际问 题所对应的理论分析，如各种经济理论常常会揭示一些基本的数量关 系；另一种直观的方法是通过Y与X的散点图来初步确认。
对于公式(3)中的系数a、b,需要由观察值(”)，,)来进彳亍估计。 如果由样本得到了 a, b的估计值为则对于给定的x, a+bx的 估计为a + bx,记作孙 它也就是我们对y的估计。方程
y = a + bx (4)
称为y对x的线性回归方程，或回归方程，其图形称为回归直线。
例仁有一种溶剂在不同的温度下其在一定量的水中的溶解度不
同，现测得这种溶剂在温度X下，溶解于水中的数量y如下表所示:
Xi
0
4
10
15
21
29
36
51
68
yf
这里x是口变量，y是随机变量，我们要求y对x的回归。 其散点图如下：
o
o
□
□
□
□
□
□
o
2•确定回归系数（应用最小二乘法）
在样本的容量为n的情况下，我们我们可以得到n对观察值为
（兀心）。现在我们要利用这n对观察值来估计参数a, bo显然，y的
估计值为：
y = a+bx 在上式屮b为待估计的参数。估计这两个参数的方法有极大
似然法和最小二乘法。其中最小二乘法是求经验公式时最常用的一种
方法，也最简单。现在就釆用这种方法。
当我们做出这一对变量观察值的散点图后，我们可以看出，我们
所要求的回归直线，实际上是这样的一条直线，即，使所求的直线能
够最好的拟合已有的所有点，或者说要使图上所有的点到这条直线的 距离最近。因此所要求的直线实际上就是使所有的点与这条直线间的 误差最小的直线。
我们用儿表示y的样本观察值，必表示根据回归方程所得到的y 的估计值，则估计值与实际观察值之间的误差为，
5 =）1一九=yi-a-bxi
其总的误差，可以表示为误差的平方和的形式,
Q（N"） =工彳=工（” -记）2 =工（儿⑹ 现在要使上式取得极小值，只需令Q对乩b的一阶偏导等于0,
因此：
—ci — bx） ~dh
=-2（工 y -na- b工 Q = 0
=-2（工小-6工兀-辽门=0
dQ Q工（儿-仪）「
—-= ;
5b 8b 由此可解得如下结果:
ci = — \y -b — \x = y - bx n n
其中GS就是参数a, b的无偏估计。此外，所谓最小二乘估计,
13
实际上就是使误差的平方和最小的估计。
估计出了回归方程的系数,我们就可以在给定的x值的情况下对
y进行估计，或预测。
例2：求例1中的y关于x的回归方程。
解：此处，n=9,有关回归方程计算所需要的数据如下:
X
y
x2
xy
0
0
0
4
16
10
100
15
225
21
441
29
841
36
1296
51
2601
68
4624
Z234
10144
n=^x = — = 26,y = ^^ =90」444
9 9
9
Sa -
Z=1
2
-x) =4060
9 2
工⑶-刃=
/=!
9
工3-可©- 刃=
/=!
4060
=