文档介绍：,叫它朴素贝叶斯分类是因为这种方法的思想真的很朴素,朴素贝叶斯的思想基础是:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。:1)设为一个待分类项,而每个a为x的一个特征属性;2)有类别集合;3)计算。4)如果,则。其中关键是如何计算步骤3)中的各个条件概率。计算过程如下:(1)找到一个已知分类的待分类项集合,该集合称为训练样本集。(2)统计得到在各类别下各个特征属性的条件概率估计。即(3)如果各个特征属性是条件独立的,则根据贝叶斯定理有如下推导:因为分母对于所有类别为常数,因此只要将分子最大化皆可。又因为各特征属性是条件独立的,所以有:可以看到,整个朴素贝叶斯分类分为三个阶段:第一阶段——准备工作阶段,这个阶段的任务是为朴素贝叶斯分类做必要的准备,主要工作是根据具体情况确定特征属性,并对每个特征属性进行适当划分,然后由人工对一部分待分类项进行分类,形成训练样本集合。这一阶段的输入是所有待分类数据,输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段,其质量对整个过程将有重要影响,分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。第二阶段——分类器训练阶段,这个阶段的任务就是生成分类器,主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计,并将结果记录。其输入是特征属性和训练样本,输出是分类器。这一阶段是机械性阶段,根据前面讨论的公式可以由程序自动计算完成。第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类,其输入是分类器和待分类项,输出是待分类项与类别的映射关系。这一阶段也是机械性阶段,由程序完成。?估计类别下特征属性划分的条件概率计算各个划分的条件概率P(a|y)是朴素贝叶斯分类的关键性步骤,当特征属性为离散值时,只要很方便的统计训练样本中各个划分在每个类别中出现的频率即可用来估计P(a|y),下面重点讨论特征属性是连续值的情况。当特征属性为连续值时,通常假定其值服从高斯分布(也称正态分布)。即:而因此只要计算出训练样本中各个类别中此特征项划分的各均值和标准差,代入上述公式即可得到需要的估计值。?Laplace校准当某个类别下某个特征项划分没有出现时,会产生P(a|y)=0的现象,这会令分类器质量大大降低。为了解决这个问题,引入Laplace校准,就是对每个类别下所有划分的计数加1,这样如果训练样本集数量充分大时,并不会对结果产生影响,并且解决了上述频率为0的尴尬局面。●Laplace校准详解假设离散型随机变量z有{1,2,…,k}共k个值,用来表示每个值的概率。假设在m个训练样本中,z的观察值是其中每一个观察值对应k个值中的一个。那么z=j出现的概率为:Laplace校准将每个特征值出现次数事先都加1,通俗讲就是假设它们都出现过一次。那么修改后的表达式为:每个z=j的分子都加1,分母加k,可见。●朴素贝叶斯中Laplace校准假设特征变量x有共k个特征值,类别特征c有共n个标签值,则C1类别下x1特征值的条件概率为:Laplace校验修正的条件