文档介绍：第三章参数估计理论与应用
参数估计的评价准则
基于统计分布的参数估计方法
基于模型的参数最小二乘估计
本章小结
8/11/2017
第三章参数估计理论与应用
在许多情况下,观测数据所服从的概率模型已知的,而
模型的未知部分是以未知参数形式出现的。
参数估计的基础是优化理论,即被估计的参数应该在某
种准则下是最优的,以及任何获得最优的估计。
非参数估计方法不假定观测数据服从某种特定的概率模
型。例如,频域上的谱估计与谱线拟合就是典型的非参数估
计方法。
观测到的状态
状态
控制
x(t)
y(t)
u(t)
v(t)
w(t)
观量噪声
设备噪声
设备(模型结构已知、参数未知)
测量装置
图3-1 系统辨识中的参数估计问题
8/11/2017
第三章参数估计理论与应用
参数估计的评价准则
参数估计是通过样本去估计总体的某些数字特征或统计量。任何一
个统计量都可作为参数的估计量,但其效果的优劣有所差别。
无偏性、有效性与相容性
(1)无偏性设样本的总体分布密度函数为 p(x;θ), θ
是未知参数。从总体中抽取容量为 N 的样本 x={x1, …, xN },
用样本的估计量来估计θ,如果希望多次估计中,平均
的估计值没有偏差,即
则称是θ的无偏估计量。
8/11/2017
第三章参数估计理论与应用
例3-1 样本均值是总体数学期望的无偏估计。
设x1, …, xN 是随机过程{xk} 的N个独立观测样本,如果
参数θ是总体的数学期望E[x],即用样本的均值
作为θ的估计量,对该估计量取期望值,有
一个无偏估计量在多次估计中将不会产生系统偏差,但
并不意味着有偏估计就不好。如果一个有偏估计是渐进无偏
的,即
8/11/2017
第三章参数估计理论与应用
那么它仍然有可能是一个好的估计。
考虑实随机过程{xk}的相关函数的两种估计量:
假定数据{xk}是独立观测的,容易验证
式中,Rx(τ)=E[xk+τ xk] 是随机数据{xk}的相关函数。
以上二式表明,估计量 1(τ) 是无偏的,而 2(τ)则是
有偏的。但是, 2(τ)是渐进无偏的,即
8/11/2017
第三章参数估计理论与应用
渐进无偏估计量 2(τ)是半正定的,而无偏估计量 1(τ)却
不一定是半正定的,故 2(τ)的使用场合较多。
(2)有效性如果 1 和 2 是两个根据N个独立观测样
本得到的无偏估计量,无疑地,对θ的平均偏差较小是选择
的标准之一。例如,如果
则 1的值比 2 的值更密集地聚集在真值θ的附近。通常将方
差(或协方差阵)在所有的无偏估计量中达到最小的称为
有效估计量。
例3-2 设x1,…,xN 是N个独立观测样本,若被估计参数
8/11/2017
第三章参数估计理论与应用
θ=E[x],则对任何满足
都是θ的无偏估计量。利用不等式
可得
在估计总体的数学期望时,简单的算术平均比加权平均好。
(3)一致性估计量的精度是与样本的容量 N 有关