文档介绍：第三章最小二乘法及其应用
最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题,因此最小二乘法是信号处理的重要工具之一。
希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式:投影法、求导法和配方法。下面来分别说明。
3-1 最小二乘法的三种形式
设X为希尔伯特空间, 为X中一组归一化正交元素,x为X中的某一元素。在子空间中求一元素m。使得
(3-1-1)
由于M中元素可表为的线性组合,问题转化成为求,使得
(3-1-2)
第二章中的投影定理指出了最优系数应满足
(3-1-3)
由此即得。也就是说,当且仅当取为x关于归一化正交系的傅立叶系数
时,式(3-1-2)成立。
(3-1-4)
这种求解方法称为投影法,它是最小二乘法的第一种表现形式。第二种方法是求导法,仍以上面的问题为例来说明。记泛函
为了能用求导法求此泛函的极小值,将它
表为
其中。于是最优的应满足
即
下面再用第三种方法即配方法来求解:
(3-1-5)
以上三种方法都称为最小二乘法。在实际应用中,他们各有各的优势和缺陷,我们并不能通过简单的比较来说明他们谁优谁劣,因为衡量一种方法好坏的标准是多方面的。因此,在不同的场合根据不同的需要和可能,灵活选择和使用合适的方法,是掌握最小二乘法的关键。
利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数,有时由于变元太多而使表达式相当繁复,为此,本节介绍用向量-矩阵的形式来简化求导过程。
下面举例个例子来具体说明。
例3-2-1 求矛盾方程组Ax=b的最小二乘解(可参阅第二章的相关例题)
3-2 向量-矩阵求导及配方法
解:求Ax=b的最小二乘解就是求
的极小点。由于
下面先给出两个需要用到的向量求导公式:
(3-2-1)
(3-2-2)
当A不时对称阵时,式(3-2-10)应该为
(3-2-3)
利用式(3-2-1)和(3-2-2)可以立即得到
(3-2-4)
这就是书中例2-4-1中所得到的法方程
若使用配方法,则有: