文档介绍：朴素贝叶斯分类matlab实现实验二朴素贝叶斯分类一、实验目的通过实验,加深对统计判决与概率密度估计基本思想、方法的认识,了解影响Bayes分类器性能的因素,掌握基于Bayes决策理论的随机模式分类的原理和方法。二、实验内容设计Bayes决策理论的随机模式分类器,用matlab实现。三、方法手段Bayes分类器的基本思想是依据类的概率、概密,按照某种准则使分类结果从统计上讲是最佳的。换言之,根据类的概率、概密将模式空间划分成若干个子空间,在此基础上形成模式分类的判决规则。准则函数不同,所导出的判决规则就不同,分类结果也不同。使用哪种准则或方法应根据具体问题来确定。四、Bayes算法朴素贝叶斯分类或简单贝叶斯分类的工作过程如下:(1)每个数据样本用一个n维特征向量表示,分别描述对n个属性Xxxx,,,...,,12nA,A,…A样本的n个度量。12n(2)假定有m个类C,C,…C。给定一个未知的数据样本X(即没有类标号),分类法12m将预测X属于具有最高后验概率(条件X下)的类。即是说,朴素贝叶斯分类将未知的样本分配给类C,当且仅当iPCXPCXjmji,,,,,1,(),,,,ij这样,最大化。其最大的类C称为最大后验假定。根据贝叶斯定理PCXPCX,,,,iiiPXHPH,,,,,PHX,,,PX,,PXCPC,,,,ii()PCX,,,iPX,,(3)由于P(X)对于所有类为常数,只需要最大即可。如果类的先验概PXCPC,,,,ii率未知,则通常假定这些类是等概率的,即P(C)=P(C)=…=P(C)。并据此只对最PXC,,12mi大化。否则,最大化。注意,类的先验概率可以用计算其中PXCPCPCss,,,,,,,iiiis是类C中的训练样本数,而s是训练样本总数。ii(4)给定具有许多属性的数据集,计算的开销可能非常大。为降低计算PXC,,i的开销,可以做类条件独立的朴素假定。给定样本的类标号,假定属性值相互条件PXC,,i独立,即在属性间,不存在依赖关系。这样,n()PXCpxC,,,,,,ikik,1,,…可以由训练样本估值,其中概率PXCPXCPXC,,,,,,1i2ini1)如果A是分类属性,则,其中s是在属性A上具有值x的类CPXCss,,,kikkkikiiki的样本数,而s是C中的训练样本数。ii2)如果A是连续值属性,则通常假定该属性服从高斯分布,因而,k2,,x,,,,kCi,,122,(),,PXCgx,,,,C,,,,eii2,,Cigx,,,,其中,给定类C的训练样本属性A的值,是属性A的高斯密度函数,而,,,,,iiii分别为平均值和标准差。(5)为对未知样本X分类,对每个类C,计算。样本X被指派到类C,PXCPC,,,,iiii当且仅当PXCPCPXCPCjmji,,,,,1,,,,,,,,,iijj换言之,X被指派到其最大的类C。PXCPC,,,,iii例使用朴素贝叶斯分类预测类标号:eStudentCredit_ratingClass:puter1<=30HighNoFairNo2<=30HighNoExcellentNo331…40HighNoFairYes4>40MediumNoFairYes5>40LowYesFairYes6>40LowYesExcellentNo731…40Low