文档介绍：LMS类自适应算法 11电工樊辉
自适应算法的提出
个人理解:传统系统设计均是在某种情况下按照某些特定参数推导得出,是系统设计完成后运行在该类特定情况效果最佳。系统一旦发生某些参数变化,则系统输出效果一般会明显变差。诚如PID这类控制系统中使用最广最常用的控制算法,也只具有一定的鲁棒性。提出自适应算法,通过某些系统参数的在线学****适应改变的系统,优化系统性能,就显得有必要了。
自适应实现在滤波器中的引入
自适应实现:N阶FIR滤波器的抽头权系数可以根据估计误差e(n)的大小自动调节,使得某个代价函数最小。
自适应实现在滤波器中的引入
MMSE准则是滤波器设计最常用的准则。故在设计中采用均方误差为代价函数:
之前最优滤波理论中可知,代价函数相对于滤波器的抽头权向量w的梯度为:
则对应的梯度向量为:
自适应实现在滤波器中的引入
在导出梯度向量后,再定义:
则式3可改写为向量式:
式中,
自适应实现在滤波器中的引入
使用中最广泛的形式是:“下降算法”
式中,w(n)为第n步迭代(即时刻n)的权向量,µ(n)
为第n次迭代的更新步长,而v(n)为第n次迭代的更新方向。
依据下降算法的两种主要实现方式,分为自适应梯度算法和自适应高斯-牛顿算法。
下面主要讲:自适应梯度算法,其包括LMS类自适应算法
LMS算法及其基本变型
自适应梯度下降算法中,更新方向向量v(n)取自第n-1次迭代的代价函数J[w(n-1)]的负梯度,即统一形式为:
其中,系数1/2是为了使得到的更新公式更简单。将更新公式中的部分用之前结论带入,既得抽头权向量w(n)的更新公式为:
由更新公式式9得到:
LMS算法及其基本变型
(1) 为误差向量,代表了抽头权向量的校正量;
(2)参数µ(n)称为在时间n的“步长参数”,决定了更新算法的收敛速度;
(3)当自适应算法趋于收敛是,有
,
即抽头权向量收敛为之前所说的Wiener滤波器。
LMS算法及其基本变型
在式6中,将数学期望分别用相应的瞬时值代替,便得到了瞬时梯度:
进而,将真是梯度向量用瞬时梯度向量代替,既得瞬时梯度算法:
式中,
式11,即为最小均方差自适应算法,简称LMS算法。
易证:瞬时梯度向量是真实梯度向量的无偏估计。
LMS算法及其基本变型
LMS自适应算法:
步骤1:初始化权抽头向量:w(0)=0;
步骤2:更新:
w(n)=w(n-1)+µ(n)u(n)e*(n)
注:1、µ(n)=c(c取常值),则为基本LMS算法
2、 µ(n)= ,则为归一化LMS算法
3、当期望信号未知时,可直接用滤波器输出y(n)代替d(n)