文档介绍：实验二朴素贝叶斯分类一、实验目的通过实验,加深对统计判决与概率密度估计基本思想、方法的认识,了解影响Bayes分类器性能的因素,掌握基于Bayes决策理论的随机模式分类的原理和方法。二、实验内容设计Bayes决策理论的随机模式分类器,用matlab实现。三、方法手段Bayes分类器的基本思想是依据类的概率、概密,按照某种准则使分类结果从统计上讲是最佳的。换言之,根据类的概率、概密将模式空间划分成若干个子空间,在此基础上形成模式分类的判决规则。准则函数不同,所导出的判决规则就不同,分类结果也不同。使用哪种准则或方法应根据具体问题来确定。四、Bayes算法朴素贝叶斯分类或简单贝叶斯分类的工作过程如下:(1)每个数据样本用一个n维特征向量表示,分别描述对n个属性A1,A2,…An样本的n个度量。(2)假定有m个类C1,C2,…Cm。给定一个未知的数据样本X(即没有类标号),分类法将预测X属于具有最高后验概率(条件X下)的类。即是说,朴素贝叶斯分类将未知的样本分配给类Ci,当且仅当()这样,最大化。其最大的类Ci称为最大后验假定。根据贝叶斯定理,()(3)由于P(X)对于所有类为常数,只需要最大即可。如果类的先验概率未知,则通常假定这些类是等概率的,即P(C1)=P(C2)=…=P(Cm)。并据此只对最大化。否则,最大化。注意,类的先验概率可以用计算其中si是类Ci中的训练样本数,而s是训练样本总数。(4)给定具有许多属性的数据集,计算的开销可能非常大。为降低计算的开销,可以做类条件独立的朴素假定。给定样本的类标号,假定属性值相互条件独立,即在属性间,不存在依赖关系。这样,()概率,,…可以由训练样本估值,其中1)如果Ak是分类属性,则,其中sik是在属性Ak上具有值xk的类Ci的样本数,而si是Ci中的训练样本数。2)如果Ak是连续值属性,则通常假定该属性服从高斯分布,因而,()其中,给定类Ci的训练样本属性Ak的值,是属性Ak的高斯密度函数,而分别为平均值和标准差。(5)为对未知样本X分类,对每个类Ci,计算。样本X被指派到类Ci,当且仅当换言之,X被指派到其最大的类Ci。例使用朴素贝叶斯分类预测类标号:eStudentCredit_ratingClass:puter1<=30HighNoFairNo2<=30HighNoExcellentNo331…40HighNoFairYes4>40MediumNoFairYes5>40LowYesFairYes6>40LowYesExcellentNo731…40LowYesExcellentYes8<=30MediumNoFairNo9<=30LowYesFairYes10>40MediumYesFairYes11<=30MediumYesExcellentYes1231…40MediumNoExcellentYes1331…40HighYesFairYes14>40MediumNoExcellentNo给定与判定树归纳相同的训练数据,我们希望使用朴素贝叶斯分类预测一个未知样本的类标号。。数据样本用属性age,e,student和credit_rating描述。puter具有两个不同值(即(yes,no))。puter=“yes”,puter=“no”。我们希望分类的