文档介绍：决策树根据李峰等人的PPT改编课件主要依据李航编写的《统计学****方法》另一本参考书:《数据挖掘与数学建模》-?(决策树)分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内部结点和叶节点。内部结点表示一个特征或属性,叶节点表示一个类。决策树决策树学****算法的最大优点是,它可以自学****在学****的过程中,不需要使用者了解过多背景知识,只需要对训练实例进行较好的标注,就能够进行学****显然,它属于有监督学****从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。决策树建立决策树的关键,即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数,建立决策树主要有一下三种算法。ID3(-1975)核心:—ID3的改进,核心:信息增益比CART(Breiman-1984),核心:基尼指数决策树决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友,于是有了下面的对话: 女儿:多大年纪了?(年龄)   母亲:26。   女儿:长的帅不帅?(长相)   母亲:挺帅的。   女儿:收入高不?(收入情况)   母亲:不算很高,中等情况。   女儿:是公务员不?(是否公务员)   母亲:是,在税务局上班呢。   女儿:那好,我去见见。决策树由决策树的根结点到叶结点的每一条路径构建一条规则;路径上内部结点的特征对应着规则的条件,而叶结点的类对应着规则的结论。If-then规则集合的一重要性质:互斥并且完备决策树将特征空间划分为互不相交的单元或区域,并在每个单元定义一个类的概率分布就构成了一个条件概率分布。各叶结点(单元)上的条件概率往往偏向某一个类,即属于某一类的概率较大,决策树分类时将该结点的实例强行分到条件概率大的那一类去。