文档介绍：在不知道更多信息的情况下,每次出现鲈鱼的先验概率为,而鲑鱼的先验概率为,其中
先验概率反映了在鱼没有出现之前,我们拥有可能出现鱼的类别的先验知识。
例如:对于鲑鱼与鲈鱼的2类问题,如果用ω表示类别状态,那么当
时是鲈鱼,当时是鲑鱼。由于每次出现的类别不确定,可以假设ω是一个用概率来描述的随机变量。
引言
贝叶斯决策是统计模式识别的基本方法, 采用概率的形式来描述,它的前提是:
(1). 各类别的总体概率分布是已知的.
(2). 要决策分类的类别数是一定的.
利用类条件概率密度: 及
描述了两种鱼类外观上光泽度的差异。
其中,x为光泽度指标。
类条件概率密度为类别状态为ω时的x的概率密度函数
仅根据先验信息的判定准则
若,则事件成立;
反之,则成立。
错误的概率是它们之中较小的那个.
但通常不这样做!
注: 假定的类条件概率密度函数图,显示了模式处于类别时观察某
个特定特征值 x x 代表了鱼的长度,那么这两条曲线可
,因此每条曲线下的面积为1
贝叶斯公式:
处于类别并具有特征值 x的模式的联合概率密度可写成两种形式:
其中称为状态的后验概率.
混合概率密度函数:
于是,可以导出贝叶斯公式:
(1)
在先验概率及图2-,假定一
个模式具有特征值, , 属于的概率

基于后验概率的决策准则
(x 表示观察值)
若类别判定

若类别判定
决策后所导致的错误率
若判定
若判定
最小化错误概率条件下的贝叶斯决策规则
为了追求最小的错误率,采取如下判定准则:
若,则判定类别为;
反之,判为。
可以证明,依从这样的准则可以获得最小错误率:
我们称该准则为“贝叶斯决策准则”。
平均错误率:
根据贝叶斯公式,由于p(x)为标量,则可以采用等价判定准则:
若,则判定类别为;
反之,判为。
贝叶斯决策论-连续性特征
允许利用多于一个的特征
允许多于两种类别状态的情形
允许有其它行为而不仅是判定类别。
引入损失函数代替误差概率。
概述
令{1, 2,…, c}表示一系列类别状态。
令{1, 2,…, a}表示一系列可能采取的行动(或决策)。
令(i | j)表示当实际状态为j 时,采取i 的行为会带来的风险。那么,特征x与行动i 相关联的损失为:
因此, 称为条件风险。
考察损失函数对判定准则的影响
借助可以提供一个总风险的优化过程,即遇到特征x,我们可以选择最小化风险的行为来使预期的损失达到最小。
假设对于特征x,决策的行为是,则总风险可表示为: