文档介绍：贝叶斯分类算法学号: 20120311108 学生所在学院: 软件工程学院学生姓名: 朱建梁任课教师: 汤亮教师所在学院: 软件工程学院 2015年11月 12软件 1班贝叶斯分类算法朱建梁 12 软件 1班摘要: 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本文作为分类算法的第一篇,将首先介绍分类问题,对分类问题进行一个正式的定义。然后,介绍贝叶斯分类算法的基础——贝叶斯定理。最后,通过实例讨论贝叶斯分类中最简单的一种:朴素贝叶斯分类。关键词: 朴素贝叶斯;文本分类 1贝叶斯分类的基础——贝叶斯定理每次提到贝叶斯定理,我心中的崇敬之情都油然而生,倒不是因为这个定理多高深, 而是因为它特别有用。这个定理解决了现实生活里经常遇到的问题:已知某条件概率, 如何得到两个事件交换后的概率,也就是在已知 P(A|B) 的情况下如何求得 P(B|A) 。这里先解释什么是条件概率: P(A|B) 表示事件 B已经发生的前提下,事件 A发生的概率,叫做事件 B发生下事件 A的条件概率。其基本求解公式为: P(A|B)=P(AB)/P(B) 。贝叶斯定理之所以有用,是因为我们在生活中经常遇到这种情况:我们可以很容易直接得出 P(A|B) ,P(B|A) 则很难直接得出,但我们更关心 P(B|A) ,贝叶斯定理就为我们打通从 P(A|B) 获得 P(B|A) 的道路。下面不加证明地直接给出贝叶斯定理: P(B|A)=P(A|B)P(B)/P(A) 2朴素贝叶斯分类的原理与流程朴素贝叶斯分类是一种十分简单的分类算法,叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素,朴素贝叶斯的思想基础是这样的:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。通俗来说,就好比这么个道理,你在街上看到一个黑人,我问你你猜这哥们哪里来的,你十有八九猜非洲。为什么呢?因为黑人中非洲人的比率最高,当然人家也可能是美洲人或亚洲人,但在没有其它可用信息下,我们会选择条件概率最大的类别,这就是朴素贝叶斯的思想基础。朴素贝叶斯分类的正式定义如下: 1、X={a1,a2,....am} 设为一个待分类项,而每个 a为x的一个特征属性。 2、有类别集合 c={y1,y2,...,yn} 3、计算 p(y1|x),p(y2|x),...,p(yn|x) 。 4、如果 p(yk|x)=max{p(y1|x),p(y2|x),...,p(yn|x)} , 那么现在的关键就是如何计算第 3步中的各个条件概率。我们可以这么做: 1、找到一个已知分类的待分类项集合,这个集合叫做训练样本集。 2 、统计得到在各类别下各个特征属性的条件概率估计。即 p(a1|y1),p(a2|y1),...,p(am|y1);p(a1|y2),p(a2|y2),...,p(am|y2);p(a1|yn),p(a2 |yn),...,p(am|yn); 。 3、如果各个特征属性是条件独立的,则根据贝叶斯定理有如下推导: P(yi|x)=P(x|yi)P(yi)/P(x) 因为分母对于所有类别为常数,因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的,所以有: P(x|yi)=P(a1|yi)P(a2|yi)...P(am|yi) 可以看到,整个