文档介绍：计数
年龄
收入
学生
信誉
归类：买计算机？
64
局
否
良
不买
64
局
否
优
不买
128
,I'
局
否
良
买
60
老
否
良
买
64
老
低
是
良
买
64
老
低
是
优
不买
64
'I'
低
是
优
买
128
青
中
否
良
不买
64
青
低
是
良
买
132
老
中
是
良
买
64
青
中
是
优
买
32
'I'
中
杏
优
买
32
•I'
高
是
良
买
63
老
中
否
优
不买
1
老
中
否
优
［买
2015-4-15
假定公司收集了左表数据，那么对于任意给定的客人
（测试样例），你能帮助公司将这位客人归类吗？
即：你能预测这位客人是属
于，，买，，计算机的那一类，还
是属于“不买”计算机的那一
类？
又：你需要多少有关这位客人的信息才能回答这个问题？
决策树可逐啼给你解决册送个问及
令类算法
基于统计的算底：®帕、贝叶斯
基于雎离的算法：简草算法、K果近邻算依
基于决策树的算法,ID3、, . CART
基于仲经网络的算法
基于规则的算法
基于加叶的算让直接基于加计信息证行今类，
基于理福的算法利用相M帆式去耀离淳量比行合类,
决策树和料住网格利用各£的秸相比行今类，
基于规则的算法金鼠％-或"＜则述存台类
2015-4-15
什么是决策相
• 决策树(Decision Tree, DT) 是由根和每个内部节点都被标记为一个问题的树。从每个节点引出的弧代表与该节点相关联的问题的可能答案。每个叶节点代表对问题解决方案的一个预测。
决策箱模型
•决策树模型是一个计算模型,
•它由三部分组成:
定义中的决策树创建决策树的算法将树应用于数据并解决所考虑问题的算法。
决策树分类算法
决策树分类过程
2015-4-15
决策树的构造[”]
•决策树是以实例为基础的归纳学****算法。它从一组无次序、无规则的元组中推理出决策树表示形式的分类规则；采用自顶向下的递归方式，在决策树的内部节点进行属性值的比较，并根据不同的属性值从该节点向下分支,而叶节点是要学****划分的类。从根节点到叶节点的一条路径就对应着一条合取规则，整个决策树就对应着一组析取表达式规贝I」。
•目前已有多种决策树算法：CLS、ID3> CHAID. 、 CART、SLIQ、SPRINT等。
• 著名的ID3 (Iterative Dichotomrser3) 1986年提出的，该算法引入了信息论中的理论，是基于信息嫡的决策树分类算法。
ID3算法
决策树ID3算法
ID3算法的核心是:
在决策树各级节点上选择属性
时，用信息增益作为属性的选择标准，以使得在每一个非叶节点进行测试时能获得关于被测试记录最大的类别信息。
•具体方法：检测所有的属性，选择信息增益最大的属性产生决策树结点,由该属性的不同取值建立分枝，再对各分支的子集递归调用该方法建立决策树结点的分枝，直到所有子集仅包含同一类别的数据为止，最后得到一棵决策树，它可以用来对新的样本进行分类。
2(