文档介绍：决策树
根据李峰等人的PPT改编
课件主要依据李航编写的《统计学****方法》
另一本参考书：《数据挖掘与数学建模》国防工业出版社 2010
决策树
决策树模型与学****br/> 特征选择
决策树的生成
决策树的剪枝
CART算法
精品资料
你怎么称呼老师？
如果老师最后没有总结一节课的重点的难点，你是否会认为老师的教学方法需要改进？
你所经历的课堂，是讲座式还是讨论式？
教师的教鞭
“不怕太阳晒，也不怕那风雨狂，只怕先生骂我笨，没有学问无颜见爹娘 ……”
“太阳当空照，花儿对我笑，小鸟说早早早……”
决策树
决策树模型
决策树与if-then规则
决策树与条件概率分布
决策树学****br/>决策树
什么是决策树？
（决策树）分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部结点和叶节点。内部结点表示一个特征或属性，叶节点表示一个类。
决策树
决策树学****算法的最大优点是，它可以自学****在学****的过程中，不需要使用者了解过多背景知识，只需要对训练实例进行较好的标注，就能够进行学****br/>显然，它属于有监督学****br/>从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。
决策树
建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同的目标函数，建立决策树主要有一下三种算法。
ID3 （J. Ross Quinlan-1975）核心：信息熵
—ID3的改进，核心：信息增益比
CART（Breiman-1984），核心：基尼指数
决策树
决策树分类的思想类似于找对象。现想象一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话：
  女儿：多大年纪了？ (年龄)      母亲：26。      女儿：长的帅不帅？ (长相)      母亲：挺帅的。      女儿：收入高不？ (收入情况)      母亲：不算很高，中等情况。       女儿：是公务员不？ (是否公务员)      母亲：是，在税务局上班呢。      女儿：那好，我去见见。