第四章 朴素贝叶斯法.pdf

文档介绍：袁春 清华大学深圳研究生院
李航 华为诺亚方舟实验室
目录
1. 朴素贝叶斯法的学****与分类
2. 朴素贝叶斯法的参数估计
一、朴素贝叶斯法的学****与分类
基本方法
后验概率最大化的含义
基本方法
训练数据集：
由X和Y的联合概率分布P(X,Y)独立同分布产生
朴素贝叶斯通过训练数据集学****联合概率分布P(X,Y) ，
即先验概率分布：
及条件概率分布：
注意：条件概率为指数级别的参数：
基本方法
条件独立性假设：
“朴素”贝叶斯名字由来，牺牲分类准确性。
贝叶斯定理：
代入上式：
基本方法
贝叶斯分类器：
分母对所有ck都相同：
后验概率最大化的含义：
朴素贝叶斯法将实例分到后验概率最大的类中，等价于
期望风险最小化，
假设选择0-1损失函数：f(X)为决策函数
期望风险函数：
取条件期望：
后验概率最大化的含义：
只需对X=x逐个极小化，得：
推导出后验概率最大化准则：
二、朴素贝叶斯法的参数估计
应用极大似然估计法估计相应的概率：
先验概率P(Y=ck)的极大似然估计是：
设第j个特征x(j)可能取值的集合为：
条件概率的极大似然估计：
朴素贝叶斯法的参数估计
学****与分类算法Naïve Bayes Algorithm：
输入：
训练数据集
第i个样本的第j个特征
第j个特征可能取的第l个值
输出：
 x的分类