文档介绍：第二十章第二十章
模式识别:分类与估计模式识别:分类与估计
主要内容主要内容
分类分类
特征选择特征选择
统计决策论统计决策论————贝叶斯决策论贝叶斯决策论
两大参数估计法:最大似然估计和贝叶斯参两大参数估计法:最大似然估计和贝叶斯参
数估计数估计
其他模式识别方法:神经网络其他模式识别方法:神经网络
比例估计比例估计
分类分类
特征提取特征提取
特征:对象的特殊属性
特征向量:特征的描述参数
方法:列出特征表用排除方法计算不同特征的相对概
率,然后选取
良好的特征的特点:可区别性,可靠性,独立性,数量
少。
分类器的设计分类器的设计
逻辑结构:(分类规则)相似程度
分类规则的数学基础:(阈值规则)特征空间
分类器的训练分类器的训练
基本方法:用一组已知的对象来训练分类器
目的的区分:1、分类错误的总量最少
2、对不同的错误分类采用适当的加权使
分类器的整个“风险”达到最低
偏差:分类错误
分类器的性能测试分类器的性能测试
已知类别的测试集;已知对象特征PDF的测试集
PDF的获取:画出参数的直方图,并计算均值和方差,
再规划到算法面积,需要的话再做一次平滑,就可将这
个直方图作为相应的PDF设计
独立每一类别的测试集
使用循环的方法
特征选择特征选择
特征选择可以看作是一个特征选择可以看作是一个((从最差的开始从最差的开始))不断删去不断删去
无用特征并组合有关联持征的过程,直至特征的数无用特征并组合有关联持征的过程,直至特征的数
目减少至易于驾驭的程度,同时分类器酌性能仍然目减少至易于驾驭的程度,同时分类器酌性能仍然
满足要求为止。例如,从一个具有满足要求为止。例如,从一个具有MM个特征的特征个特征的特征
集中挑选出较少的集中挑选出较少的NN个特征时,要使采用这个特征时,要使采用这NN个特个特
征的分类器的性能最好。征的分类器的性能最好。
特征方差
特征相点函数
类间距离
降维
统计决策理论统计决策理论
————贝叶斯决策论贝叶斯决策论
以鱼的分类为例以鱼的分类为例
每条鱼只能属于:鲈鱼或者鲑鱼每条鱼只能属于:鲈鱼或者鲑鱼
定义定义ωω描述鱼的类别状态描述鱼的类别状态
ω= ωω1 表示鲈鱼
ω= ωω2 表示鲑鱼
贝叶斯决策理论贝叶斯决策理论
定义定义先验概率先验概率 P(P(
ωω))
P(ωω1 ):表示下一条鱼是鲈鱼的先验概率
P(ωω2 ):表示下一条鱼是鲑鱼的先验概率
只有鲈鱼和鲑鱼的情况下只有鲈鱼和鲑鱼的情况下
P(ωω1 ) + P(ωω2 ) = 1
简单的判断规则简单的判断规则
P(ωω1 ) > P(ωω2 ):则判为ω1,否则判为ωω2
如果只有一条鱼,规则尚是可行的
如果是很多条鱼,则全部归于一类
贝叶斯决策理论贝叶斯决策理论
特征特征:鱼的光泽度指标:鱼的光泽度指标 xx
不同的鱼拥有不同的光泽度(根据样本而来)
贝叶斯决策理论贝叶斯决策理论
定义定义类条件概率密度类条件概率密度p(p(
x|x|ω
p( x|ωω):即类别状态为ω时的xω的概率密度函数))
p( x|ωω1 ) 与 p( x|ωω2 ) 间的区别表示了鲈鱼和鲑鱼间光泽
度的区别
贝叶斯公式贝叶斯公式
假设我们知道假设我们知道
先验概率 P(ωω1 ) 和 P(ωω2 )
条件概率密度 p( x|ωω1 ) 和 p( x|ωω2 )
某条鱼的光泽度指标 x
处于类别处于类别并具有特征值并具有特征值的模式的联合的模式的联合
ωωjj xx
概率密度可以写成两种形式:概率密度可以写成两种形式:
p( ωωj,x ) = P( ωωj|x ) p( x ) = p( x|ωωj ) P( ωωj )