文档介绍：第9章决策树算法 1 数据挖掘原理与 SPSS Clementine 应用宝典元昌安主编 邓松李文敬刘海涛编著电子工业出版社第9章决策树算法 2第9章决策树算法第9章决策树算法 3本章大纲: 决策树算法原理常用决策树算法决策树剪枝由决策树提取分类规则应用实例分析第9章决策树算法 4 决策树算法原理优点: ?使用者不需要了解很多背景知识,只要训练事例能用属性→结论的方式表达出来,就能用该算法学****决策树模型效率高,对训练集数据量较大的情况较为适合; ?分类模型是树状结构,简单直观,可将到达每个叶结点的路径转换为 IF→ THEN 形式的规则,易于理解; ?决策树方法具有较高的分类精确度。第9章决策树算法 5 决策树算法原理传统的数据分类操作通常有以下两个步骤: ?模型训练阶段:根据给定的训练集,找到合适的映射函数 H:→C的表示模型。?使用上一步训练完成的函数模型预测数据的类别,或利用该函数模型,对数据集中的每一类数据进行描述,形成分类规则。第9章决策树算法 6 决策树算法原理?工作过程: 决策树分类模型的工作过程图第9章决策树算法 7 决策树算法原理?定义 给定一个训练数据集 D=,其中每个实例,称为例子,训练数据集中包含以下属性 A= 。同时给定类别集合 C。对于训练数据集 D,决策树是指具有以下性质的树: ?每个内部节点都被标记一个属性 Ai。?每个弧都被标记一个值,这个值对应于相应父结点的属性。?每个叶节点都被标记一个类 Cj。第9章决策树算法 8 决策树算法原理?定义 分裂准则定义为在决策树算法中将训练数据集 D中的元组划分为个体类的最好的方法与策略,它告诉我们在节点 N上测试哪个属性合适,如何选择测试与测试的方法,从节点 N上应该生长出哪些分支。?定义 分裂属性 Xi定义为决策树中每个内部节点都对应的一个用于分裂数据集的属性。 Xi A= },,,{ 21hAAA?第9章决策树算法 9 决策树算法原理?定义 如果 Xi是连续属性,那么分裂准则的形式为 Xi,其中,就称为节点 n的分裂点。?定义 如果 Xi是离散属性,那么的形式为, 其中,就称为节点 n的分裂子集。注意: 分裂准则与分裂属性、分裂点、分裂子集并不等同,它们是四个不同的概念, 并且分裂子集分裂点分裂属性分裂准则第9章决策树算法 10 决策树算法原理?将上面的定义结合实际的决策树例子可得决策树图如下图 9-1 ,图 9-2 ,图 9-3 所示, 图中设 X为分裂属性,是属性 X的已知值。图 9-2 按照分裂点划分而成的决策树图与相关的具体例子图