文档介绍：基于朴素贝叶斯的文本分类算法
摘要:常用的文本分类方法有支持向量机、K-近邻算法和朴素贝叶斯。其中朴素贝叶斯具有容易实现,运行速度快的特点,被广泛使用。本文详细介绍了朴素贝叶斯的基本原理,讨论了两种常见模型:多项式模型(MM)和伯努利模型(BM),实现了可运行的代码,并进行了一些数据测试。
关键字:朴素贝叶斯;文本分类
Text Classification Algorithm Based on Naive Bayes
Author: soulmachine
Email:soulmachine@
Blog:
Abstract:Usually there are three methods for text classification: SVM、KNN and Naïve Bayes. Naïve Bayes is easy to implement and fast, so it is widely used. This article introduced the theory of Naïve Bayes and discussed two popular models: multinomial model(MM) and Bernoulli model(BM) in details, implemented runnable code and performed some data tests.
Keywords: naïve bayes; text classification
第1章贝叶斯原理
贝叶斯公式
设A、B是两个事件,且P(A)>0,称
为在事件A发生的条件下事件B发生的条件概率。
乘法公式 P(XYZ)=P(Z|XY)P(Y|X)P(X)
全概率公式 P(X)=P(X|Y1)+ P(X|Y2)+…+ P(X|Yn)
贝叶斯公式
在此处,贝叶斯公式,我们要用到的是
以上公式,请读者参考《概率论与数理统计(第五版)》“条件概率”(这里将原书中的A换成了X,B换成了Y),获得更深的理解。
在分类(classification)问题中,常常需要把一个事物分到某个类别。一个事物具有很多属性,把它的众多属性看做一个向量,即x=(x1,x2,x3,…,xn),用x这个向量来代表这个事物。类别也是有很多种,用集合Y={y1,y2,…ym}表示。如果x属于y1类别,就可以给x打上y1标签,意思是说x属于y1类别。这就是所谓的分类(Classification)。
x的集合记为X,称为属性集。一般X和Y的关系是不确定的,你只能在某种程度上说x有多大可能性属于类y1,比如说x有80%的可能性属于类y1,这时可以把X和Y看做是随机变量,P(Y|X)称为Y的后验概率(posterior probability),与之相对的,P(Y)称为Y的先验概率(prior probability)[2]。
在训练阶段,我们要根据从训练数据中收集的信息,对X和Y的每一种组合学****后验概率P(Y|X)。分类时,来了一个实例x,在刚才训练得到的一堆后验概率中找出所有的P(Y|x), 其中最大的那个y,即为x所属分类。根据贝叶斯公式,后验概率为
在比较不同Y值的后验概率时,分母P(X)总是常数,因此可以忽略。先验概率P(Y)可以通过计算训练集中属于每一个类的训练样本所占的比例容易地估计。
我们来举个简单的例子,让读者对上述思路有个形象的认识[3]。
考虑一个医疗诊断问题,有两种可能的假设:(1)病人有癌症。(2)病人无癌症。样本数据来自某化验测试,它也有两种可能的结果:阳性和阴性。假设我们已经有先验知识:。此外,化验测试对有病的患者有98%的可能返回阳性结果,对无病患者有97%的可能返回阴性结果。
上面的数据可以用以下概率式子表示:
P(cancer)=,P(无cancer)=
P(阳性|cancer)=,P(阴性|cancer)=
P(阳性|无cancer)=,P(阴性|无cancer)=
假设现在有一个新病人,化验测试返回阳性,是否将病人断定为有癌症呢?
在这里,Y={cancer,无cancer},共两个类别,这个新病人是一个样本,他有一个属性阳性,可以令x=(阳性)。
我们可以来计算各个类别的后验概率:
P(cancer | 阳性) = P(阳性| cancer)p(cancer)=* =
P(无cancer | 阳性) =P(阳性| 无cancer)*p(无cancer)=* =