文档介绍：2017-3-19 Guilin 1决策树分类器朱晓峰 seanzhuxf@ https://sites./site/seanzhuxf/ 2017-3-19 Guilin 2 数据库知识发现技术?数据预处理:属性约简,缺失值填充…?关联规则?分类或预测?聚类?可视化分析 2017-3-19 Guilin 3 什么叫分类? ?分类是一个古老的方法、现代热门的课题?已知数据的集合 D: ?数据被标记?学****从数据集合中归纳出规则、规律等,通常称为分类器,或模型?预测:用分类器预测新数据的类?这种从有标记的数据种归纳分类器的方法叫监督学****决策树、回归是最常用的分类器分类任务图例分类任务例子? Predicting tumor cells as benign or malignant ? Classifying credit card transactions as legitimate or fraudulent ? Classifying secondary structures of protein as alpha-helix, beta-sheet, or random coil ? Categorizing news stories as finance, weather, entertainment, sports, etc 分类技术? Decision Tree based Methods ? Rule-based Methods ? Memory based reasoning ? works ? Na ? ve Bayes and Bayesian Belief Networks ? Support Vector Machines 2017-3-19 Guilin 7 决策树分类器/模型学****将已知数据集合分成?训练数据集合?测试集合?学****从一个训练数据集合归纳出一棵决策树: 从完全空间搜索一棵最佳树的过程?预测:用决策树分类新数据?决策树是最常用的分类器之一?不要求任何知识或参数设定?它是一种监督学****方法?一棵决策树可以表示成一组规则 2017-3-19 Guilin 8决策树的结构?决策树是层次的树结构?由一些节点和枝(边)组成,一棵决策树至少有一个节点?枝的两端是节点?一棵决策树通常是从左到右,或从上到下画图?树的第一个节点称为根节点,“根-枝-节点-... –节点”的最后一个节点是叶节点,其它节点叫中间节点?非叶节点至少有一条枝 2017-3-19 Guilin 9决策树分类器的解释?一棵决策树是训练数据的一个划分?树的一个非叶节点是对一个属性上的测试?一个属性的一条枝是测试该属性的一个结果?一个叶节点是一个类标记?在每个非叶节点,一个属性被选中,它将训练数据分裂成尽可能不同类的子集合( 划分) ?对于一个新数据,根据它的每个属性值从根节点一直匹配到叶节点,这个叶节点的标记就用来预测新数据的类 2017-3-19 Guilin 10 构造决策树分类器的原则?目标: 最大化预测新数据的精度( 实现困难) ?通常将给定的已知数据随机分成训练集合和测试集合。训练数据用于归纳分类器,测试数据用来评估分类器?训练分类器时的目标是最大化预测测试数据的精度,即,该分类器基本上体现两个(训练和测试) 集合的共同结构?过度拟合(overfitting )问题:拟合训练数据的效果很好,拟合测试数据的效果很差