文档介绍：采用迭代的方法来求解J的极小值问题,常用的迭代算法有拉格朗日(Lagrangian)乘子法和牛顿-拉卜森法。这里采用牛顿-拉卜森法。整个迭代计算步骤如下:
(1)选定初始的值。对于中的
可按模型
用最小二乘法来求解,而对于中的可先假定一些值。
(2)计算预测误差
给出
并计算
(3)计算J的梯度和海赛(Hassian)矩阵有
式中
上三式又可写为
(40)
(41)
(42)
由上三式分别可得
式(40)-(42)均为差分方程,通过设定初值,就可分别求出关于的全部偏导数。
下面求J关于的二阶偏导数。
当接近于真值时, 接近于0。在这种情况下,上式等号右边第二项接近于0, 近似表示为
4)按牛顿-拉卜森法计算的新估值,有
重复(2)到(4)步,经过r次迭代计算之后
可得,进一步迭代计算可得
如果
则可停止计算,否则继续迭代计算。
这一方法即使在噪声比较大的情况下也能得到较好的估值。
递推极大似然法
为了在线辨识的需要,给出递推极大似然法。
1。近似的递推极大似然法
设系统的模型为
为预测误差。由上式有
是模型参数的函数,所以预测误差可以用来表示,即
取指标函数为
式中
按J 最小来确定的估计值。
如果是的线性函数,则可用最小二乘法来求的递推公式,但是的非线性函数。我们采用的二次型来逼近,从而导出一个近似的极大似然递推公式。
应用泰勒级数把在估值的周围展开得
式中
按公式(40,(41),(42)可得
令
分别定义为