文档介绍：最小二乘法及其应用
最小二乘法及其应用
1 / 12
最小二乘法及其应用
最小二乘法及其应用
1( 引言
最小二乘法在 19 世纪初发明后 , 很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计 , 自 1805 年至 1864 年的 60 年间 , 有关最小二乘法的研究论文达 256 篇 , 一些百科全书包括 1837 年出版的大不列颠百科全书第 7 版 , 亦收入有关方法的介绍。同时 , 误差的分布是“正态”的 , 也立刻得到天文学家的关注及大量经验的支持。如贝塞尔 ( F. W. Bessel, 1784
— 1846) 对几百颗星球作了三组观测 , 并比较了按照正态规律在给定范围内的理论误差值和实际值 , 对比表明它们非常接近一致。拉普拉斯在 1810 年也给出了正态
规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型 , 在 19 世纪极为流行 , 一些学者甚至把 19 世纪的数理统计学称为正态分布的统治时
代。在其影响下 , 最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大, 应
用及其广泛的统计模型。到 20 世纪正态小样本理论充分发展后 , 高斯研究成果的影响更加显著。最小二乘法不仅是 19 世纪最重要的统计方法 , 而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都
以最小二乘法为理论基础。正如美国统计学家斯蒂格勒 ( S. M. Stigler) 所
说, “最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学****有很重要的意义。 2. 最小二乘法
b,b 所谓最小二乘法就是 : 选择参数 , 使得全部观测的残差平方和最小 . 01 用数学公式表示为 :
,222mine,(Y,Y),(Y,b,bx) ,,,iiiii01
为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例.
Y,B， Bx，, ( 一元线性回归方程 ) i01ii
1
由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即 :
Y,b ， bx，e(i,1,2...n)i01ii
从上面的公式可以看出 : 残差是的真实值与估计值之差，估计总体 eYii
回归函数最优方法是，选择的估计量，使得残差尽可能的小 . B,Bb,be0101i
总之，最小二乘原理就是选择样本回归函数使得所有 Y 的估计值与真实值差的
平方和为最小，这种确定的方法叫做最小二乘法。 b,b01
最小二乘法是回归分析中的最基本的方法。回归方程一般分为 2 类，线性回归
方程和非线性回归方程。
线性回归最小二乘法
最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法 . 在建立
线性型公式中，虽然有很多种不同的方法来求样本回归函数 ( 即真实总体回归函数
的估计值 ) ，但是在回归分析中最广泛应用的方法是最小二乘法 .
,
如果变量有精确的线性关系比如说 , 那么 y,y 即观测 x 和 yy,ax ，bii 值与回归
值是相等的 . 事实上现实世界中的诸多变量的关系未必都是如此，由于受诸多随机
因数的干扰使得物与物之间没有那种很明确的对应关系 . 比如说人的身高和体重就
是一个对应，我们都知道长的高的人不一定就重，同理长的矮的人也不一定就轻 .
但身高和体重的确存在着一定的关系 , 而这种关系并非是所能确定的 . 那么我们要寻
求身高和体重之间的关系 y,ax ，b
就需要通过数学的方法 . 首先调查统计得出数据 ; 其次把数据描绘出来 ; 然后拟
合一条跟已有的图象最接近的曲线 , 这样就可以相对地将身高和体重之间的关系表
示出来 . 在处理类似的事情中常常用到最小二乘法 . 非线性回归最小二乘法
最小二乘法及其应用
最小二乘法及其应用
2 / 12
最小二乘法及其应用
2
2 非线性回归的种类很多，常用的有抛物线方程 () 、指 YabXcX,，，
x 数方程 () 等。 Yab,
设已知列表函数，并且我们想用一个通常的 yfxim,,()(0,1,...,)ii
次多项式 nm(),
n (1)