C3：贝叶斯分类.ppt

文档介绍：第3讲贝叶斯分类

1
贝叶斯网络学****概述
简单地说,贝叶斯网络是一种用来表示变量间连续概率的有向无环图模型,图中的节点表示变量,有向边表示变量间的依赖关系。
基于贝叶斯网络的推理为衡量多个假设的置信度提供了定量方法,为直接操作概率的学****算法提供了理论基础,也为其他算法的分析提供了理论框架。

2
先验概率和后验概率
用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率。
先验概率反映了关于h是一正确假设的机会的背景知识
如果没有这一先验知识,可以简单地将每一候选假设赋予相同的先验概率
类似地,P(D)表示训练数据D的先验概率,P(D|h)表示假设h成立时D的概率
在分类中,我们关心的是P(h|D),即给定D时h的成立的概率,称为h的后验概率

3
贝叶斯公式
贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法
P(h|D)随着P(h)和P(D|h)的增长而增长,随着P(D)的增长而减少,即如果D独立于h时被观察到的可能性越大,那么D对h的支持度就越小。

4
基本概率公式表
乘法规则:P(AB)=P(A|B)P(B)=P(B|A)P(A)
加法规则:P(AB)=P(A)+P(B)-P(AB)
贝叶斯法则:P(h|D)=P(D|h)P(h)/P(D)
全概率法则:如果事件A1...An互斥,且满足,则

5
贝叶斯网络与联合概率分布

6
贝叶斯网络分类器
设每个实例x可由属性值的合取描述,而目标函数f(x)从某有限集合V中取值。
应用贝叶斯网络方法的新实例分类目标是在给定描述实例的属性值<a1,...,an>下,得到最可能的目标值vMAP
使用贝叶斯公式变化上式

7
最优贝叶斯网络分类器

8
贝叶斯网络分类器的困难
基于训练数据估计上面式子中的两个数据项的值
估计P(vj)虽然很容易:计算每个目标值vj出现在训练数据中的频率。
估计P(a1,...an|vj)却非常困难,除非有一个非常大的训练数据集,否则无法获得可靠的估计。

9
属性条件独立假设
为避免估计P(a1,...an|vj)遇到的困难,朴素贝叶斯网络分类器引入了一个简单的假定:在给定目标值时,属性值之间相互条件独立。这个假设被广泛第称作属性条件独立假设。
所以有成立。

10