文档介绍：决策树
1
决策树基本概念
信息论基础
应用实例及ID3算法
决策树总结
一些思考
目录
2
精品资料
3
你怎么称呼老师？
如果老师最后没有总结一节课的重点的难点，你是否会认为老师的教学方法需要改进？
你所经历的课堂，是讲座式还是讨论式？
教师的教鞭
“不怕太阳晒，也不怕那风雨狂，只怕先生骂我笨，没有学问无颜见爹娘 ……”
“太阳当空照，花儿对我笑，小鸟说早早早……”
4
生活中的决策树1(Decision Tree)
决策树基本概念
5
A decision tree is a flowchart-like structure in which each internal node represents a "test" on an attribute (. whether a coin flip comes up heads or tails), each branch represents the outcome of the test, and each leaf node represents a class label (decision taken after computing all attributes). The paths from root to leaf represent classification rules.
决策树是一种类似于流程图的结构，其中每个内部节点代表一个属性上的“测试”（例如，一个硬币的翻转是正面还是反面），每个分支代表测试的结果，每个叶节点代表一个类标签（在计算所有属性之后做出的决定）。从根到叶子的路径表示分类规则。
定义
决策树基本概念
6
生活中的决策树2(Decision Tree)
属性测试
属性测试
决定
决定
分支
构建决策树的关键问题：
1. 以何种属性进行测试
2. 以何种顺序进行测试
3. 何时做出决定
决策树基本概念
7
连接主义者认为，机器学****分为监督学****无监督学****和强化学****监督学****就是训练样本带有属性标签。监督学****又可分为“回归”和“分类”问题。
机器学****中的分类技术一般是用一种学****算法确定分类模型，该模型可以很好地拟合类标号和属性集之间的映射关系。
常用的分类算法包括：决策树分类法、逻辑回归分类法、神经网络、支持向量级、朴素贝叶斯分类方法等。
机器学****中的决策树（1/2）
决策树基本概念
8
在机器学****中，决策树是一个带有标签的监督式学****预测模型，代表的是对象属性与对象值之间的一种映射关系。算法ID3，。
相比大多数分类算法，如 kNN 等，决策树易于理解和实现，使用者无需了解很多背景知识。它能够对数据集合进行分析，挖掘其中蕴含的知识信息。
机器学****中的决策树（2/2）
决策树基本概念
9
决策树算法采用自上至下递归建树的技术，该算法的产生源于CLS系统，即概念学****系统。
决策树算法发展历史(1/2)
决策树基本概念
10