文档介绍：1
第9章决策树算法
2
本章大纲：
决策树算法原理
常用决策树算法
决策树剪枝
由决策树提取分类规则
应用实例分析
3
决策树算法原理
优点：
使用者不需要了解很多背景知识，只要训练事例能用属性→结论的方式表达出来，就能用该算法学****br/>决策树模型效率高，对训练集数据量较大的情况较为适合；
分类模型是树状结构，简单直观，可将到达每个叶结点的路径转换为IF→THEN形式的规则，易于理解；
决策树方法具有较高的分类精确度。
4
决策树算法原理
传统的数据分类操作通常有以下两个步骤:
模型训练阶段：根据给定的训练集，找到合适的映射函数H:→C的表示模型。
使用上一步训练完成的函数模型预测数据的类别，或利用该函数模型，对数据集中的每一类数据进行描述，形成分类规则。
5
决策树算法原理
工作过程：
决策树分类模型的工作过程图
6
决策树算法原理
定义给定一个训练数据集D＝，其中每个实例，称为例子，训练数据集中包含以下属性A=。同时给定类别集合C。对于训练数据集D，决策树是指具有以下性质的树：
每个内部节点都被标记一个属性Ai。
每个弧都被标记一个值，这个值对应于相应父结点的属性。
每个叶节点都被标记一个类Cj。
7
决策树算法原理
分裂准则定义为在决策树算法中将训练数据集D中的元组划分为个体类的最好的方法与策略，它告诉我们在节点N上测试哪个属性合适，如何选择测试与测试的方法，从节点N上应该生长出哪些分支。
分裂属性Xi定义为决策树中每个内部节点都对应的一个用于分裂数据集的属性。Xi A=
8
决策树算法原理
如果Xi是连续属性，那么分裂准则的形式为Xi，其中，就称为节点n的分裂点。
如果Xi是离散属性，那么的形式为，其中，就称为节点n的分裂子集。
注意：分裂准则与分裂属性、分裂点、分裂子集并不等同，它们是四个不同的概念，并且分裂子集分裂点分裂属性分裂准则
9
决策树算法原理
将上面的定义结合实际的决策树例子可得决策树图如下图9-1，图9-2，图9-3所示，图中设X为分裂属性，是属性X的已知值。
图9-2 按照分裂点划分而成的决策树图与相关的具体例子图
10