文档介绍：第9章决策树算法
1
数据挖掘原理与SPSS Clementine应用宝典
元昌安主编
邓松李文敬刘海涛编著
电子工业出版社
第9章决策树算法
2
第9章决策树算法
第9章决策树算法
3
本章大纲:
决策树算法原理
常用决策树算法
决策树剪枝
由决策树提取分类规则
应用实例分析
第9章决策树算法
4
决策树算法原理
优点:
使用者不需要了解很多背景知识,只要训练事例能用属性→结论的方式表达出来,就能用该算法学****br/>决策树模型效率高,对训练集数据量较大的情况较为适合;
分类模型是树状结构,简单直观,可将到达每个叶结点的路径转换为IF→THEN形式的规则,易于理解;
决策树方法具有较高的分类精确度。
第9章决策树算法
5
决策树算法原理
传统的数据分类操作通常有以下两个步骤:
模型训练阶段:根据给定的训练集,找到合适的映射函数H:→C的表示模型。
使用上一步训练完成的函数模型预测数据的类别,或利用该函数模型,对数据集中的每一类数据进行描述,形成分类规则。
第9章决策树算法
6
决策树算法原理
工作过程:
决策树分类模型的工作过程图
第9章决策树算法
7
决策树算法原理
定义给定一个训练数据集D=,其中每个实例,称为例子,训练数据集中包含以下属性A=。同时给定类别集合C。对于训练数据集D,决策树是指具有以下性质的树:
每个内部节点都被标记一个属性Ai。
每个弧都被标记一个值,这个值对应于相应父结点的属性。
每个叶节点都被标记一个类Cj。
第9章决策树算法
8
决策树算法原理
分裂准则定义为在决策树算法中将训练数据集D中的元组划分为个体类的最好的方法与策略,它告诉我们在节点N上测试哪个属性合适,如何选择测试与测试的方法,从节点N上应该生长出哪些分支。
分裂属性Xi定义为决策树中每个内部节点都对应的一个用于分裂数据集的属性。Xi A=
第9章决策树算法
9
决策树算法原理
如果Xi是连续属性,那么分裂准则的形式为Xi,其中,就称为节点n的分裂点。
如果Xi是离散属性,那么的形式为,其中,就称为节点n的分裂子集。
注意:分裂准则与分裂属性、分裂点、分裂子集并不等同,它们是四个不同的概念,并且分裂子集分裂点分裂属性分裂准则
第9章决策树算法
10
决策树算法原理
将上面的定义结合实际的决策树例子可得决策树图如下图9-1,图9-2,图9-3所示,图中设X为分裂属性,是属性X的已知值。
图9-2 按照分裂点划分而成的决策树图与相关的具体例子图