文档介绍：贝叶斯分类 1 、定义: 依据贝叶斯准则( 两组间最大分离原则) 建立的判别函数集进行的图像分类。贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。 2 、贝叶斯定理: ( | ) ( ) ( | ) ( ) P A B P B p B A P A ?说明: ( | ) p A B 表示事件 B发生的前提下,事件 A发生的概率; ( ) p A 表示事件 A发生的概率; ( ) p B 事件 B发生的概率。则可以求得事件 A发生的前提下,事件 B 发生的概率。贝叶斯定理给出了最小化误差的最优解决方法,可用于分类和预测。将前面贝叶斯公式变化如下: 上述公式中, C代表类别, X代表特征,很明显,我们做出预测肯定是利用当前的特征,来判断输出的类别。当然这里也可以很明显的看到贝叶斯公式先验与后验概率之间的转换,很明显, P(c|x) 在我们的定义里面是后验概率,也是我们想要得到的东西。而 P(x) 、P(c) 以及 P(x|c) 都是先验概率,它们分别 X特征出现的概率, C类出现的概率, C类中,出现 X的概率。而第一项对于多类分类来说,都是一样,都是当前观察到的特征,所以此项可以略去。那最终的结果就是计算 P(x|c)*P(c) 这一项,P(c)是可以通过观察来解决的。重点也就全部落在了 P(x|c) 上,上面对于此项的解释是在 C类中, X特征出现的概率,其实简单来讲,就是 X 的概率密度。 3 、特点 1)。贝叶斯分类并不是把一个对象绝对地指派给某一类,而是通过计算得出属于某一类的概率。具有最大概率的类便是该对象所属的类。2)。一般情况下在贝叶斯分类中所有的属性都潜在的起作用,即并不是一个或几个属性决定分类,而是所有的属性都参与分类。 3)贝叶斯分类的属性可以是离散的、连续的、也可以是混合的。 4 、分类: (1) 朴素贝叶斯算法。(2) TAN 算法 1)朴素贝叶斯算法成立的前提是各属性之间互相独立。当数据集满足这种独立性假设时,分类的准确度较高,否则可能较低。另外,该算法没有分类规则输出。设每个数据样本用一个 n维特征向量来描述 n个属性的值,即:X={x1 ,x2,…,xn} , 假定有 m个类,分别用 C1, C2, …,Cm表示。给定一个未知的数据样本 X(即没有类标号),若朴素贝叶斯分类法将未知的样本 X分配给类 Ci,则一定是 P(Ci|X)>P(Cj|X) 1≤j≤m,j≠i 根据贝叶斯定理由于 P(X) 对于所有类为常数,最大化后验概率 P(Ci|X) 可转化为最大化先验概率 P(X|Ci)P(Ci) 。如果训练数据集有许多属性和元组,计算 P(X|Ci) 的开销可能非常大,为此,通常假设各属性的取值互相独立,这样先验概率 P(x1|Ci) ,P(x2|Ci) ,…,P(xn|Ci) 可以从训练数据集求得。根据此方法,对一个未知类别的样本 X,可以先分别计算出 X属于每一个类别 Ci的概率 P(X|Ci)P(Ci) ,然后选择其中概率最大的类别作为其类别。 2 )整个朴素贝叶斯分类的三个阶段: 第一阶段—准备工作阶段,这个阶段的任务是为朴素贝叶斯分类作必要的准备,主要的工作是根据具体情况确定特征属性,并对每个属性进行适当划分,然后由人工对一部分分类项进行分类,形成训练样本集合