文档介绍：详解贝叶斯分类器
1•贝叶斯决策论
贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯 分类。贝叶斯决策论通过相关概率已知的情况下利用误判损失来选择最优的类别分类。
“风险”（误判损失）二原本为cj的样本误
0”皈
®
O.；J6O
0 一噸
凹坦坦坦陷略凹坦凹 稲平¥咻凹凹耕甲稍 糊晰糊糊勒糊晰醐糊 和清模模秫稍清模柏 闽腕腕响响阀响响阀 沉淸rff浊浊乳浊浊沉 蜷挺挺縮罐蜷蜷缩竊 稍隈鶴姥稍稍栉蜷域
so 1234 5 67
11111111
对下表示例进行预测：
编号
色泽
根蒂
敲声
纹理
脐部
触感
襦度 含翦率
好瓜
测i
浊响
濟晰
凹略
?
先验概率：+
P〔好瓜=是）=2 P〔好瓜=否）=吕J
为每个属性估计条件概率pCxJc）^
3 3
卩清绿禺=P〔色泽=青***奸瓜=是）飞 卩隹绿型=P伫泽=青绿|奸瓜=否）=-
5 3
唯缩|是）=P（根蒂=蜷缩I好瓜=是）飞P慌缩囹=P（根蒂=蜷缩|好瓜=S） = - J
4
P逆响I是）=P（敲声=浊响I好瓜=是）=E P｛浊响筍=P（敲声二浊响I好瓜=否）=了
7 2
是）=P（纹理=清晰|好瓜=是）=§ P箪晰間=P（级理=淸晰|好瓜=否）=亍
. 2
P（凹卿是）=P（脐部=凹陷I好瓜=是）P（凹啣司=P（脐部=口陷I好瓜=否）=->
卩㈣是）=P〔触感=硬滑I好瓜=是）諾P（翊否）=P（触感=硬滑I好瓜=否）=?
〜宀 I丄 k 口\ 1 --）2
P 密帥阿是）=P'O度=06971» 瓜=疋）=72^0129 6XP<一 —2-^ 5
⑴卫是关三好瓜样本中的密度均值和方差）「
｛宀宀 I丄十 士、 L （-0.+96）3
P密度®妙冏=P（密度=好瓜=否）=、（2 • 〕 （s 是黄亍坏瓜样本中的密度均值和方差）" ｛冬卡 I丄亍 厂 1 （-）2
P含糖©刊是［=P（含粮=。•洞好瓜=是）=（一 — ）
（U0是关于好瓜样本中的含糖均值和方差）屮 十― 才、 1 -）2
p 含糖（□妙百=pO雜二 0处肉瓜=国=72S-（ 一 —2- ）
（U,a是关于坏瓜样本中的含糖均值和方差）屮
因此+
P（好瓜=是k =测1） = P（好瓜=是卜P（青编罔辛P（删是）* P［浊啊是）* P（凹陷I是）*
P俺滑是］忡密度0罰是）* P含糖価翊|是）宅0 038
p（>瓜=否|翼=测丄）==p（好瓜=是）* P（青绿|是）* P囲缩|是）电P（浊响|是）* P（凹陷是严
P俺消|是〕桦密滾卬砂|是）* P含糖（皿97|是）①0 068 * 10_3 1
生于P〔好瓜=是|葢=测1） > p（好瓜=否|盖=测1）.，因此朴素贝叶斯分类器将测试样 本“测1"判别为“好瓜抄屮
判断屮
由于p（好瓜=是卜=测1） >■ p（好瓜=否|x =测1）,因此朴素贝叶斯分类器将测试样 本“测1抒判别为“好瓜J屮
NQTEp
若某个属性值在训练集中没有与某个类同时出现过，则直接基于5式进行估计，在很据 3式进行判斷将出现问题。例如：对一个昇敲声二清脆的测例，有" 卩餅|是）=卩〔敲声=清脆|好瓜二是）諾=®
由式勺计算出来概率值为6因此无论该样本的其他属性是什么」即使在其他属性上明显像 好瓜，分类的纯果都将是“好瓜二否巴这样不太合理=心
为了避免未出现的属性值抹去抒甚他属性携带的信息，在估计概率值的时候通常要进 行血平滑巴 常用到“拉普拉斯修正'二即，令N表示训练集D中可能的类别数，Ni表示第 ［个属性可能的取值数，则式4和5表示为卍
(6) +j
r、 |Dc| + 1
pCc> |d|Tn-
(7) a
|DcfxJ + 1
p（xjc）=而时r
本例中的,
先验概率可估计为“
条件概率:
p（好瓜=是）=曇:;=善P（好瓜=否）=罟 ^^ = 3 （浊响、沉臥清脆八
0 + 1 1
P（青脆|是）=P（敲声=清脆|好瓜=是）=示再=五"
PpMI筍=P（敲声=清脆I好瓜=否）=亍再=
显然，拉書拉斯修正避免了因训练集样本不充分而大地之概率估值为零的问题，并且在训练 集变大时，修正过程所引入的先验的影响也会逐渐变得可以忽略，使得估值趋向于实际概率 值…
5•半朴素贝叶斯分类器
为了降低贝叶斯公式2中后验概率p