文档介绍：最小二乘法及其应用
1. 引言
最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学****有很重要的意义。
2. 最小二乘法
所谓最小二乘法就是:选择参数b0,b1,使得全部观测的残差平方和最小. 用数学公式表示为:
min?ei??(Yi?Yi)2??(Yi?b0?b1xi)2
为了说明这个方法,先解释一下最小二乘原理,以一元线性回归方程为例.
Yi?B0?B1xi??i (一元线性回归方程) 1 2?
由于总体回归方程不能进行参数估计,我们只能对样本回归函数来估计即:
Yi?b0?b1xi?ei(i?1,2...n)
从上面的公式可以看出:残差ei是Yi的真实值与估计值之差,估计总体
回归函数最优方法是,选择B0,B1的估计量b0,b1,使得残差ei尽可能的小.
总之,最小二乘原理就是选择样本回归函数使得所有Y的估计值与真实
值差的平方和为最小,这种确定b0,b1的方法叫做最小二乘法。
最小二乘法是回归分析中的最基本的方法。回归方程一般分为2类,线
性回归方程和非线性回归方程。
线性回归最小二乘法
最小二乘法是由实验或调查的数据,建立线性型公式的一种常用方法.
在建立线性型公式中,虽然有很多种不同的方法来求样本回归函数(即真实
总体回归函数的估计值),但是在回归分析中最广泛应用的方法是最小二乘
法.
如果变量x和y有精确的线性关系比如说y?ax?b,那么yi?yi即观测
,

如说人的身高和体重就是一个对应,我们都知道长的高的人不一定就重,同
,而这种
关系并非是y?ax?
;其次把数据描绘出来;然后
拟合一条跟已有的图象最接近的曲线,这样就可以相对地将身高和体重之间
. ?
非线性回归最小二乘法
2
非线性回归的种类很多,常用的有抛物线方程(Y?a?bX?cX2)、指数方程(Y?abx)等。
设已知列表函数yi?f(xi)(i?0,1,...,m),并且我们想用一个通常的
n(?m)次多项式
pn?x??a0?a1x?...?anxn (1) 去近似它。问题是应该如何选择a0,a1,...,an 使pn?x?能较好地近似列表函数f?x?。按最小二乘法,应该选择a0,a1,...,an使得
...,an?? S?a0,a1,
??f?xi??pn?xi?? (2)
i?0
m
2
取最小。注意到S是非负的,且是a0,a1,...,an的2次多项式,它必有最小值。求S 对a0,a1,...,an 的偏导数,并令其等于零,得到
??y?a
i
i?0
m
?a1xi?...?anxin?xik?0 (k?0,1,...,n)
进一步,可以将它们写成
?yx
i?o
m
k
ii
?a0?xi?a1?xi
k
i?o
i?o
mm
k?1
... ,?...?an?xi