文档介绍：2021/12/26 星期日
Guilin
1
决策树分类器
朱晓峰
******@gmail
s:// /site/seanzhuxf/
2021/12/26 星期日
Guilin
2
数据库知识发现技术
数据预处理：属性约简，缺失值填充…
关联规则
分类或预测
聚类
可视化分析
2021/12/26 星期日
Guilin
3
什么叫分类？
分类是一个古老的方法、现代热门的课题
已知数据的集合D：
数据被标记
学****从数据集合中归纳出规则、规律等，通常称为分类器，或模型
预测：用分类器预测新数据的类
这种从有标记的数据种归纳分类器的方法叫监督学****br/>决策树、回归是最常用的分类器
分类任务图例
分类任务例子
Predicting tumor cells as benign or malignant
Classifying credit card transactions as legitimate or fraudulent
Classifying secondary structures of protein as alpha-helix, beta-sheet, or random coil
Categorizing news stories as finance, weather, entertainment, sports, etc
分类技术
Decision Tree based Methods
Rule-based Methods
Memory based reasoning
Neural Networks
Naïve Bayes and Bayesian Belief Networks
Support Vector Machines
2021/12/26 星期日
Guilin
7
决策树分类器/模型学****br/>将已知数据集合分成
训练数据集合
测试集合
学****从一个训练数据集合归纳出一棵决策树：从完全空间搜索一棵最佳树的过程
预测：用决策树分类新数据
决策树是最常用的分类器之一
不要求任何知识或参数设定
它是一种监督学****方法
一棵决策树可以表示成一组规则
2021/12/26 星期日
Guilin
8
决策树的结构
决策树是层次的树结构
由一些节点和枝（边）组成，一棵决策树至少有一个节点
枝的两端是节点
一棵决策树通常是从左到右，或从上到下画图
树的第一个节点称为根节点，“根-枝-节点-...–节点”的最后一个节点是叶节点，其它节点叫中间节点
非叶节点至少有一条枝
2021/12/26 星期日
Guilin
9
决策树分类器的解释
一棵决策树是训练数据的一个划分
树的一个非叶节点是对一个属性上的测试
一个属性的一条枝是测试该属性的一个结果
一个叶节点是一个类标记
在每个非叶节点，一个属性被选中，它将训练数据分裂成尽可能不同类的子集合（划分）
对于一个新数据，根据它的每个属性值从根节点一直匹配到叶节点，这个叶节点的标记就用来预测新数据的类
2021/12/26 星期日
Guilin
10
构造决策树分类器的原则
目标：最大化预测新数据的精度（实现困难）
通常将给定的已知数据随机分成训练集合和测试集合。训练数据用于归纳分类器，测试数据用来评估分类器
训练分类器时的目标是最大化预测测试数据的精度，即，该分类器基本上体现两个（训练和测试）集合的共同结构
过度拟合（overfitting）问题：拟合训练数据的效果很好，拟合测试数据的效果很差