文档介绍：第4章概率密度函数的估计
最大似然估计
Bayes估计和Bayes学习
正态分布的监督参数估计
非监督参数估计
总体分布的非参数估计
在上一章,我们介绍了先验概率和类条件概率密度函数已知时,怎么去设计一个最优分类器,但是在一般的模式识别问题中,要知道所讨论问题的全部概率结构是不大可能的。通常对于研究的问题只有一些一般性的、模糊的知识。可能有的就是一些样本了。现在的问题就转变为如何利用上述信息去对概率总体作出估计,从而进一步设计出分类器。在模式识别问题中,先验概率的估计并不困难,困难的是类条件概率密度函数的估计,包括形式和参数两方面的问题。形式已知的称为参数估计,未知的称为非参数估计。
返回本章首页
参数估计——包括监督参数估计和非监督参数估计
监督参数估计——样本所属的类别及类条件总体概率密度函数的形式为已知,而表征概率密度函数的某些参数是未知的
非监督参数估计——已知总体概率密度函数的形式但未知样本所属类别,要求推断出概率密度函数的某些参数
参数估计的方法——最大似然估计和Bayes估计
非参数估计——已知样本所属类别,但未知总体概率密度函数的形式,要求我们直接推断概率密度函数本身
参数估计的方法——Parzen窗法和近邻法
返回本章首页
参数估计的基本概念
(1)统计量
(2)参数空间
(3)点估计、估计量和估计值
(4)区间估计
返回本章首页
最大似然估计
返回本章首页
这里我们首先作如下的合理假设:
1)估计的参数是确定(非随机)而未知的量;
2)样本集按类别分开,假定有 c 类,则可分成个样本集,其中中的样本都是从概率密度为的总体中独立的抽取出来的;
3)类条件概率密度函数具有某种确定的函数形式。为表示同有关,记为。
4)假定中的样本不包含关于的任何信息,也就是说不同类别的参数在函数上是独立的,即中的样本只对提供有关的信息,这样就可对每类进行独立处理。
返回本章首页
假定某一类样本集
由于样本是独立抽取的
似然函数的定义
个随机变量的似然函数是个随机变量的联合密度,这个密度可以看成是的函数。具体的说,若是独立地抽自密度总体的样本,那么似然函数就是
返回本章首页
极大似然估计的基本思想
如果在一次观察中一个事件出现了,那么我们就认为该事件出现的可能性很大。事件在一次观察中出现了,那么我们就可以认为达到了极大值。使似然函数极大化的值就是的极大似然估计。直观上看, 这个值是同实际观察到的样本最一致的参数值。
用一个简单的例子来解释极大似然估计的基本思想。如下图所示,一维样本服从正态分布,并且方差已知,要求通过抽取到的样本集用极大似然估计得到它的均值。
返回本章首页
返回本章首页
设是有个分量的列向量
用表示梯度算子
为对数似然函数