文档介绍：第3章 Bayes决策理论
最小错误概率的Bayes决策
最小风险的Bayes决策
Neyman-Pearson决策
最小最大决策
Bayes分类器和判别函数
正态分布时的Bayes决策法则
离散情况的Bayes决策
在上一章,我们介绍了线性判别函数,作了一个假设——抽取到的模式样本的边界是“整齐”而不混杂的,而且以后遇到的待分类模式基本上不超过学习样本的分布范围,从而利用这些样本得到的分类边界是无误差的。但是实际上因为试验的样本是从总体中随机抽取的,不能保证用过去的抽取的样本训练得到的分类边界对新的模式样本也能较好地分类。因此,考虑样本不确定性的模式识别方法是非常重要的。另外,还有特征选择不完善所引起的不确定性,模式数据采集和预处理和特征抽取过程中干扰和噪声引起的不确定性。综上,我们引出统计决策的方法。
返回本章首页
对模式识别的主要统计方法是Bayes决策理论,它是用概率论的方法研究决策问题,要求
(1)各类别先验概率以及条件概率密度均为已知,即各类别总体的概率分布是已知的;
(2) 要决策分类的类别是一定的;
返回本章首页
最小错误概率的Bayes决策
在模式识别问题中,感兴趣的往往是尽量减小分类错误的概率。为此,我们可以建立一个能得到最小错误率的决策方法。看一个简单的例子。
假设某工厂生产两种大小,外形都相同的螺丝钉,一种是铜的,一种是铁的。两种产品混在一起,要求对它们自动分类。分两种情况讨论:
(1)先验概率已知;
(2)先验概率和条件概率密度函数均已知。
返回本章首页
先验概率已知
铁螺丝出现的概率——
铜螺丝出现的概率——
它们反映了我们在下一个样品出现前对它的类别可能性的先验知识,称这种先于事件的概率为先验概率。
合理的决策规则:
决策错误的概率:
返回本章首页
先验概率和条件概率密度函数均已知
铁螺丝出现的概率——
铜螺丝出现的概率——
铁螺丝出现的概率——
铜螺丝出现的概率——
——螺丝背光源照射后反射光的亮度特征
求取后验概率:
返回本章首页
对待分类模式的特征我们得到一个观察值, 合理的决策规则:
决策错误的条件概率(随机变量的函数):
模式特征是一个随机变量,在应用Bayes法则时,每当观察到一个模式时,得到特征,就可利用后验概率作出分类的决策,同时也会带来一定的错误概率。若观察到大量的模式,对它们作出决策的平均错误概率应是的数学期望。
返回本章首页
平均错误概率
从式可知,如果对每次观察到的特征值, 是尽可能小的话,则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。
返回本章首页
返回本章首页
返回本章首页
结束放映