文档介绍：§6-4最小均方算法(Least Mean Square)
最小均方算法又称LMS算法。它是在线性在自适应处理中调整权值的一种最简单的算法。这种算法适合于前面讨论的非递归自适应滤波器或线性组合器,不需要离线方式的梯度估值,因而是使用方便的重要算法。
对非递归自适应滤波器的结构,基本形式有两种,一种是多输入(并联)形式(如图6-15);另一种是横向滤波器结构形式(图6-19)。
对以上两种系统,其误差为:
X(k)——输入样本向量。
该系统在自适应过程每次迭代时,其梯度估值为:
式中,e(k)对权的倒数可直接从式(6-112)中得到。
采用这个简单的梯度估值,导出一种与最速下降法类似的自适应算法。这种算法把下一时刻的权系数向量W(k+1)等于现时刻的权系数向量W(k)加上一项比例于负的均方误差的梯度估值,由(6-48)式
μ为控制自适应速度与稳定性的增益常数。
由于每次迭代权的改变基于不准确的梯度估值,它将不会严格地在性能表面上沿着真实的最速路径下降,可见自适应过程是带噪的。
这种算法是从梯度向量的每个分量有单个数据样本得到,不需扰动权向量。不用平均,梯度分量肯定包含了一个大的噪声成分。但是,自适应过程,相当于一个低通滤波器的作用,因而随时间的增长,噪声是逐渐衰减的。
(6-114)式的信号流图
权向量的收敛性
若在平稳输入条件下,两次迭代时间足够长,则其输入向量为不相关的。由式(6-114)可见,权向量W(k)仅是过去输入向量X(1),X(2),…,X(k)的函数。因为各次输入向量是不相关的,则W(k)与X(k)也是不相关的。满足上述条件,可以证明,经过多次迭代后,权向量的期望值E[W(k)]将收敛于式(6-42)表示的维纳最优解,即
。
证明:将式6-114)两边取数学期望,则
将式(6-42)代入(6-115),则
由式(6-89),则
式中,V’—— W在主轴坐标中的权向量;
——R的对角化特征值矩阵;
V’(0)——在主轴坐标中的初始权向量。
当
则
当迭代次数无限增加时,权系数向量的数学期望值收敛于维纳解。
仅当满足时,上式收敛才能保证。式中,为最大特征值,即为中的最大对角元素。
若N(k) 表示第k次迭代时梯度估值的噪声向量,如式(6-96),则
假如LMS 算法运行时,采用一个小的自适应增益常数μ ,并且过程已收敛到稳态权向量处附近,则式(10-122)中将接近零。梯度噪声将逼近于
此时,噪声的协方差为:
假如权向量 W(k)保持在他们的最优权附近,由式(6-56)知,与输入信号向量近似不相关,所以上式可改写为:
将上式转换到主轴坐标系,令,则
利用式(10-104),可直接求出在主轴坐标系中权向量的协方差:
实际应用时,的元素一般是远小于1的,因此,可在式(6-127)中忽略项,即:
因而,回到原坐标系,权向量解的噪声近似由下式给出:
所谓失调,定义为在自适应中,超量均方误差与最小均方误差之比,它是自适应过程跟踪真正维纳解接近程度的量度,自适应能力代价的量度。
由式(6-108),则
若具有n个元素,而为对角矩阵,式(6-130)可表示成
假如自适应过程暂态已经结束。