6. 决策树分类.ppt

文档介绍：决策树分类
王成(副教授)
计算机科学与技术学院
主要内容
什么是决策树
ID3算法

CART算法
Decision Tree Modeling
决策树是一种简单且应用广泛的预测方法
决策树
常见的决策树形式
决策树主要有二元分支(binary split)树和多分支(multiway split)树。一般时候采用二元分裂,因为二元分裂在穷举搜索中更加灵活。
决策树形式
决策树
决策树(Decision Tree)又称为判定树,是运用于分类的一种树结构。其中的每个内部结点(internal node)代表对某个属性的一次测试,每条边代表一个测试结果,叶结点(leaf)代表某个类(class)或者类的分布(class distribution),最上面的结点是根结点
决策树提供了一种展示在什么条件下会得到什么类别这类规则的方法。
下例是为了解决这个问题而建立的一棵决策树,从中可以看到决策树的基本组成部分:决策结点、分支和叶结点
决策树
下图给出了一个商业上使用的决策树的例子。它表示了一个关心电子产品的用户是否会购买PC(puter)的知识,用它可以预测某条记录(某个人)的购买意向
决策树
这棵决策树对销售记录进行分类,指出一个电子产品消费者是否会购买一台计算机“puter”。每个内部结点(方形框)代表对某个属性的一次检测。每个叶结点(椭圆框)代表一个类:
puters=yes 或者 puters=no
在这个例子中,特征向量为:
(age, student, credit_rating, puters)
被决策数据的格式为:
(age, student, credit_rating)
输入新的被决策的记录,可以预测该记录隶属于哪个类。
使用决策树进行分类
第1步:利用训练集建立并精化一棵决策树,建立决策树模型。这个过程实际上是一个从数据中获取知识,进行机器学****的过程
第2步:利用生成完毕的决策树对输入数据进行分类。对输入的记录,从根结点依次测试记录的属性值,直到到达某个叶结点,从而找到该记录所在的类