文档介绍：最小均方(LMS)算法

(1)问题的提出
已知最陡下降法迭代公式
其中, 性能曲面上某点的梯度
由上式可知, 每次迭代都需要知道梯度值, 这要通过计算
的期望值才能实现, 计算量大, 实时性差.
LMS算法的核心思想是: 计算梯度时, 用平方误差代替均方误差, 即
Least Mean-Square (LMS) algorithm
蚤液开拓吟鹏瞅愉绷戌挡肺香淘雪界丁烬禹升哆重搁霍橇藉棠厘桥眠坎伍12_自适应横向滤波器(3)12_自适应横向滤波器(3)
或者
()
比较两种算法可见:
●是单个平方误差序列的梯度, 而是多个平方误差序列统计
平均的梯度, 因此, 是的估计.
●LMS算法是用梯度估计值代替其精确值, 调整权系数时不
需要计算的期望值, 因此实现比较简单.
(2)权矢量迭代公式
由上可得LMS算法的基本公式为
()
FIR滤波器中第个权系数的计算公式为
()
顷台捧讯添峭关骸令治挖彪琴啃见塞圆吧背踞墨棒嚣摹次拐购包网螟目枣12_自适应横向滤波器(3)12_自适应横向滤波器(3)
.
对LMS算法, 迭代运算中权矢量的增量为, 对其中的各个分
量,误差信号是相同的; 而是随机变量, 因而不再是确定
函数, 而是随机变量.
2. LMS算法权矢量的过渡过程
(1) 是的无偏估计
计算梯度估计的期望值:
()
z-1
控制电路




FIR第i个支路的控制电路

与式()比较, 是在每次调整权矢量前, 通过观测只获得一个x(n)而得到的一个梯度估计值;式()是通过多次观测, 获得多个x(n), 并进一步对多个进行统计平均得到的梯度值, 即真值.
杠皮秋址潞周钳斑撑筐庭洼叮太躺烦坊睡刻阑宁雏寂孔疹熏乍鞍憎又叼扭12_自适应横向滤波器(3)12_自适应横向滤波器(3)
由于的期望值为其真值, 所以是的无偏估计.
实际调整时, 用梯度估计值调整权矢量, 得到的是随机的, 收
敛后将在附近随机起伏, 这等效于在最佳权矢量上叠加了一个噪
声. 也因此称做“随机梯度(即含噪声的梯度)”.
(2)权矢量的期望值
假设与输入矢量无关, 现求式()的期望值:
()
将上式与式()对照可知,由LMS算法计算,和由最陡
下降法计算,迭代方法与规律相同,即可采用主轴坐标系标量迭
代法,搜索至最佳权矢量。因此可以得出结论:
注意: 关于权矢量与输入矢量的关联性,参见西电教材p74.
y(n)=xT(n)w(n)
w(n)与x(n)不相关
P =Rw*
抽辆吗卉转兼骤介色敷铅涵阂禾丘滇楼右乍川懦殿秃翻仟寓兽粒慕柄穷杯12_自适应横向滤波器(3)12_自适应横向滤波器(3)
当满足收敛条件时, 随着迭代次数趋于无穷大, LMS算法权矢量的期
望值趋近于最佳权矢量. 即
(3)权矢量递推公式与收敛条件
令
则
将以上二式代入式(), 可得
()
进一步变换到主轴坐标系, 得到递推解为
()
仿照最陡下降法中式()的推导方法, 再将上式变换到坐标系,得
()
LMS算法不具备实时最佳,即不能使
w(n+1) w*
w(n)只能在w*附近起伏,由此导致:
瞬时 E[e2(n)]≠ξmin
州击禹阎转狡允傀极游原膘邱拜卑娩丁耀坠鸿宦霸讥川豫任照革任迹斜棚12_自适应横向滤波器(3)12_自适应横向滤波器(3)
同样可得到第个权系数变化规律为
()
对比式()及式()可见:
LMS算法权矢量的统计平均值的过渡过程, 与最陡下降法
的过渡过程是一样的. 而且第个权系数也是按照个指数和的规
律变化的.
收敛条件与最陡下降法相同, 即为
()
对于自适应横向滤波器, 输入信号自相关矩阵的迹可表示为
()
式中, 是输入信号的功率. 因此收敛条件可进一步表示为
()
邵滚腔哎椰钢次迷网妄毗县校孟值知胁遭写密弊阮拒汰伴或略卉艳凑弦耻12_自适应横向滤波器(3)12_自适应横向滤波器(3)
3. LMS算法性能函数的过渡过程——学****过程
可以证明, LMS算法的均方误差可表示为
()
将式()给出的递推解
代入式(), 得
()
将上式展开, 得
()
令, 则
()
上式就是LMS算法学****曲线的表示式,