文档介绍：2016-11-15Guilin1决策树分类器朱晓峰******@https://sites./site/seanzhuxf/2016-11-15Guilin2数据库知识发现技术?数据预处理:属性约简,缺失值填充…?关联规则?分类或预测?聚类?可视化分析2016-11-15Guilin3什么叫分类??分类是一个古老的方法、现代热门的课题?已知数据的集合D:?数据被标记?学****从数据集合中归纳出规则、规律等,通常称为分类器,或模型?预测:用分类器预测新数据的类?这种从有标记的数据种归纳分类器的方法叫监督学****决策树、回归是最常用的分类器分类任务图例分类任务例子?Predicting tumor cells as benign or malignant?Classifying credit card transactions as legitimate or fraudulent?Classifying secondary structures of protein as alpha-helix, beta-sheet, or random coil?Categorizing news stories as finance, weather, entertainment, sports, etc分类技术?Decision Tree based Methods?Rule-based Methods?Memory based reasoning?works?Na?ve Bayes and Bayesian works?Support Vector Machines2016-11-15Guilin7决策树分类器/模型学****将已知数据集合分成?训练数据集合?测试集合?学****从一个训练数据集合归纳出一棵决策树:从完全空间搜索一棵最佳树的过程?预测:用决策树分类新数据?决策树是最常用的分类器之一?不要求任何知识或参数设定?它是一种监督学****方法?一棵决策树可以表示成一组规则2016-11-15Guilin8决策树的结构?决策树是层次的树结构?由一些节点和枝(边)组成,一棵决策树至少有一个节点?枝的两端是节点?一棵决策树通常是从左到右,或从上到下画图?树的第一个节点称为根节点,“根-枝-节点-...–节点”的最后一个节点是叶节点,其它节点叫中间节点?非叶节点至少有一条枝2016-11-15Guilin9决策树分类器的解释?一棵决策树是训练数据的一个划分?树的一个非叶节点是对一个属性上的测试?一个属性的一条枝是测试该属性的一个结果?一个叶节点是一个类标记?在每个非叶节点,一个属性被选中,它将训练数据分裂成尽可能不同类的子集合(划分)?对于一个新数据,根据它的每个属性值从根节点一直匹配到叶节点,这个叶节点的标记就用来预测新数据的类2016-11-15Guilin10构造决策树分类器的原则?目标:最大化预测新数据的精度(实现困难)?通常将给定的已知数据随机分成训练集合和测试集合。训练数据用于归纳分类器,测试数据用来评估分类器?训练分类器时的目标是最大化预测测试数据的精度,即,该分类器基本上体现两个(训练和测试)集合的共同结构?过度拟合(overfitting)问题:拟合训练数据的效果很好,拟合测试数据的效果很差