文档介绍：第三章最小二乘法及其应用者炳加隅崖吝器抡剔仍扇碴努时果年瑰幼漱价充扒羡嗣符捷色忠裙鲁鱼捏最小二乘法及其应用最小二乘法及其应用最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题,因此最小二乘法是信号处理的重要工具之一。希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式:投影法、求导法和配方法。下面来分别说明。3-1最小二乘法的三种形式肄令斌愉烬瞒垒磅粱赘锐但下智努湍翻片否浇槽晦胜贷褐钨坦湖目贬晕范最小二乘法及其应用最小二乘法及其应用设X为希尔伯特空间,为X中一组归一化正交元素,x为X中的某一元素。在子空间中求一元素m。使得(3-1-1)由于M中元素可表为的线性组合,问题转化成为求,使得(3-1-2)龚秃丑特肘俘葡骆耿蝶井束艺锐修孔哩乐拣优爷桑埠痢揖留蕉要岭酪厚辖最小二乘法及其应用最小二乘法及其应用第二章中的投影定理指出了最优系数应满足(3-1-3)由此即得。也就是说,当且仅当取为x关于归一化正交系的傅立叶系数时,式(3-1-2)成立。(3-1-4)悔莆臭僚电创密迂第淄感钩妇敌谅怠玖褪铁札姚呜递入造枯壹畴柯宏网贞最小二乘法及其应用最小二乘法及其应用这种求解方法称为投影法,它是最小二乘法的第一种表现形式。第二种方法是求导法,仍以上面的问题为例来说明。记泛函为了能用求导法求此泛函的极小值,将它表为泉询允也塔犬洼仓搪禽治掸锅裁谁郭待症兴游沾镇竖卞烩才郊协骤渣拘恼最小二乘法及其应用最小二乘法及其应用其中。于是最优的应满足即下面再用第三种方法即配方法来求解:(3-1-5)袜伴甩胃陋嚏藕兰永滁豺阮讹播碰慈膛逮栈捕疹远千氢沮长烈敏渤瑞颁陶最小二乘法及其应用最小二乘法及其应用以上三种方法都称为最小二乘法。在实际应用中,他们各有各的优势和缺陷,我们并不能通过简单的比较来说明他们谁优谁劣,因为衡量一种方法好坏的标准是多方面的。因此,在不同的场合根据不同的需要和可能,灵活选择和使用合适的方法,是掌握最小二乘法的关键。缀悲镀沮获狈漳躬孤所学装佣斟舜付疵菇笆披和沃酶蔗中绒辫跳或瑚萝炸最小二乘法及其应用最小二乘法及其应用利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数,有时由于变元太多而使表达式相当繁复,为此,本节介绍用向量-矩阵的形式来简化求导过程。下面举例个例子来具体说明。例3-2-1求矛盾方程组Ax=b的最小二乘解(可参阅第二章的相关例题)3-2向量-矩阵求导及配方法身底跌畴袖寺既塑环伟侵妨删隘粉蜜裴蔗德皮另芽趁闰粉啥诣莽乳疹憎缺最小二乘法及其应用最小二乘法及其应用解:求Ax=b的最小二乘解就是求的极小点。由于下面先给出两个需要用到的向量求导公式:(3-2-1)(3-2-2)当A不时对称阵时,式(3-2-10)应该为(3-2-3)恭雄摸涅隋完舔汉睡终追完蛤猜冷笛高场掐坎瘁女般界倪佃枝伏迹磊寨柠最小二乘法及其应用最小二乘法及其应用利用式(3-2-1)和(3-2-2)可以立即得到(3-2-4)这就是书中例2-4-1中所得到的法方程若使用配方法,则有:嵌痞瞎题侮两藤蜗啪宴敲飘毛擞畦蝴蹲烹导址质装润轰壶驰奸慷噬凄瓢耽最小二乘法及其应用最小二乘法及其应用