文档介绍：梯度校正参数辨识方法
随机逼近法
随机逼近原理
考察以下模型的辨识问题:
其中,为均值为零的噪声.
定义准则函数:
求该准则函数的负梯度,得:
令上式为零,有:
(A)
则可求得使得的参数估计值.
一般来说,由于噪声的统计性质是未知的,因此方程(A)无法得到精确的解,随机逼近参数估计法要解决的问题就是如何用随机逼近原理来求解方程(A).
回归函数:设和是两个随机变量(向量),(估计),记作,:,则称为的最佳均方预测(逼近)
.
定理:若存在,:
为关于的回归,或称为关于的回归函数.
证明:等价于证明对于任意的Borel可测函数(连续函数),有:
由于:
而
因此有:
故:,即条件数学期望是对的最佳均方预测.
例如:设,用预测,求.
解:先求关于的条件分布密度,
即
因此得:
.
当我们观察到的值为时,即时,则是一切对的估计值中在均方意义下误差最小的一个.
随机逼近原理:给定,设方程:
(B)
,我们可以取的样本值,以及对应的样本值,记为,通过迭代,逐步逼近上述方程的解.
Robbins-Monro算法:
(C)
其中::
(D)
则由(C)确定的在均方意义下收敛于方程(B)的解.
一般取:
另外:当满足以下条件时
由(C)确定的满足:
Kiefer-Wolfowitz算法:
目的:确定回归函数的极值点.
(E)
若收敛因子满足条件(D),则由(E)确定的收敛到回归函数的极值点.
考察准则函数的极值问题,若在点上取得极值,则的迭代算法为:
(F)
若收敛因子满足条件(D),则在均方意义下收敛于真值,即