最小二乘法原理.ppt

文档介绍：最小二乘法原理
假设x和y是具有某种相关关系的物理量,它们之间的关系可用下式给出:
(5-1)
式中,c1,c2,…,cN是N个待定常数,即式(5-1)曲线形式已经确定,而曲线的具体形状是未定的。
x
…
y
…
为求得具体曲线,可同时测得x和y的数值,设共获得m对观测结果:
根据这些观测值来确定常数c1,c2,…,cN
(5-2)
设x,y关系的最佳形式为:
(5-3)
式中, 是c1,c2,…,cN的最佳估计值。若不存在测量误差,则各观测值都应落在曲线式(5-1)上,即:
(i=1,2,…,m)
(5-4)
但由于存在测量误差,因而是(5-4)与(5-3)不相重合,即有:
(i=1,2,…,m)
(5-5)
称ei为残差,它是误差的实测值。
如果m对观测值中有比较多的y值落到曲线式(5-3)上,则所得曲线就能较为满意地反映被测物理量之间的关系。当y值落在曲线上的概率最大时,曲线式(5-3)就是曲线式(5-1)的最佳形式。如果误差服从正态分布,则概率P(e1,e2,…,em)为:
(5-6)
当P(e1,e2,…,em)最大时,求得的曲线就应当是最佳形式。显然,此时下式应最小:
(5-7)
(5-7)
式(5-7)可以写成:
(5-8)
残差平方和最小,就应有:
(5-9)
该方程组称为正规方程(normal equation),解该方程组可得未定常数,通常称之为最小二乘法解。
(5-10)