文档介绍：第7章 贝叶斯分类算法
贝叶斯分类概述
朴素贝叶斯分类
SQL Server朴素贝叶斯分类
电子商务数据的贝叶斯分类
1
贝叶斯分类概述
贝叶斯定理
若已知P(C)是关于C的先验概率，P(A)是关于A的先验概率，P(A|C)表示在已知C发生后A的条件概率，，求P(C|A)即A发生后C的后验概率。
后验概率的贝叶斯定理如下：
2
贝叶斯信念网络
贝叶斯信念网络（Bayesian Belief Network，BBN）简称贝叶斯网，它是一个概率网络，是一种基于概率推理的数学模型，解决复杂系统的不确定性和不完整性问题。用图形表示一组随机变量之间的概率关系。贝叶斯网有两个主要成分：
一个有向无环图（DAG）：图中每个节点代表一个随机变量，每条有向边表示变量之间的依赖关系。若有一条有向边从节点X到节点Y，那么X就是Y的父节点，Y就是X的子节点。
一个条件概率表（CPT）：把各节点和父节点关联起来。在CPT中，如果节点X没有父节点，则表中只包含先验概率P(X)；如果节点X只有一个父节点Y，则表中包含条件概率P(X|Y)；如果节点X有多个父节点Y1、Y2、…、Yk，则表中包含条件概率P(X|Y1、Y2、…、Yk)。
3
例如，假设节点X直接影响到节点Y，即X→Y，则用从X指向Y的箭头建立节点X到节点Y的箭头(X，Y)，权值（即连接强度）用条件概率P(Y|X)来表示，。其中箭头表示条件依赖关系。
4
对于随机变量（A1、A2、…、An），任何数据对象（a1、a2、…、an）的联合概率可以通过以下公式计算获得：
其中，parent(Ai)表示Ai的父结点，P(ai|parent(Ai))对应条件概率表中关于Ai结点的一个入口。若Ai没有父结点，则P(ai|parent(Ai))等于P(ai)。
5
【】有X、Y和Z三个二元随机变量（取值只有0、1两种情况），假设X、Y之间是独立的，。若已知条件概率P(X=1)=，P(Y=1)=，P(Z=1)=，求P(X=0，Y=0|Z＝0)的后验概率。
X=1，Y=1
X=1，Y=0
X=0，Y=1
X=0，Y=0
Z=1
Z=0
表中的数值表示的是后验概率P(Z|X，Y)，如有：P(Z=1|X=1，Y=1)=，P(Z=0|X=1，Y=1)=。
6
。一般地，在画贝叶斯网时，若已知P(X|Y)条件概率，则画一条从Y到X的有向边；若已知P(X|Y1、Y2、…、Yk)条件概率，则从Y1、Y2、…、Yk各画一条从Yi（1≤i≤k）到X的有向边。
P(X=0)=1-P(X=1)=，P(Y=0)=1-P(Y=1)=，P(Z=0)=1-P(Z=1)=
由于X、Y均没有父结点，所以联合概率：
P(X=0，Y=0)=P(X=0)×P(Y=0)=×=
依条件概率表有P(Z=0|X=0，Y=0)=。根据贝叶斯定理，有：
P(X=0，Y=0|Z=0)=P(Z=0|X=0，Y=0)×P(X=0，Y=0)/P(Z=0)
=×=。
7
朴素贝叶斯分类
朴素贝叶斯分类原理
1. 朴素贝叶斯分类过程
朴素贝叶斯分类基于一个简单的假定：在给定分类特征条件下，描述属性值之间是相互条件独立的。
朴素贝叶斯分类思想是：假设每个样本用一个n维特征向量X={x1，x2，…，xn}来表示，描述属性为A1、A2、…、An（Ai之间相互独立）。类别属性为C，假设样本中共有m个类即C1、C2、…、Cm，，其中P(Ai|C)是后验概率，可以通过训练样本集求出。
8
给定一个未知类别的样本X，朴素贝叶斯分类将X划分到属于具有最高后验概率P(Ci|X)的类中，也就是说，将X分配给类Ci，当且仅当：
P(Ci|X)>P(Cj|X)，1≤j≤m，i≠j
9
根据贝叶斯定理有：
由于P(X)对于所有类为常数，只需要最大化P(X|Ci)P(Ci)即可。而P(X|Ci)是一个联合后验概率，即：
P(X|Ci)=P(A1，A2，…，An|Ci)=
所以对于某个新样本（a1，a2，…，an)，它所在类别为：
10