文档介绍：决策树分类算法
学号：20210311139
学生所在学院：软件工程学院
学生姓名：葛强强
任课教师：汤亮
教师所在学院：软件工程学院
2021年11月
12软件1班
决策树分类算法
葛强强
12软彳1班
摘要：决、信息增益比(GainRa-tio)、Gini-index、距离度量、x2统计、证据权重、,特别是对于多值属性,,,,而CARET法x那么使用Gini-in-dex,其中每个分类的决定都与前面所选择的目标分类相关.
2决策树的剪枝
数据挖掘的对象是现实世界的数据,这些数据一般不可能是完美的,可能某些属性字段上缺值；可能缺少必须的数据而造成数据不完整；可能数据不准确、含有噪声甚至是错误的,,,完全拟合将导致过分拟合,,同时它也能使树得到简化而变得更容易理解.
1)两种根本的剪枝策略.
①前期剪枝(Forward-Pruning),决定是继续对不纯的练****子集进行划分还是停机.
例如某些有效统计量到达某个预先设定的阈值时,节点不再继续分裂,,,即树可能在不应停止的时候而停止扩展,或称之为horizon效应,而且,,,预先修剪对大规模的实际应用还是值得研究的,.
②后期剪枝(Post-Pruning)
种拟合-化简〔F让ting-and-simplifying〕
拟合的一棵决策树,然后由下向上从树的叶子开始剪枝,,如果存在某个叶子剪去后测试集上的准确度或其它测度不降低〔不变得更坏〕,那么剪去该叶子,否那么停机.
如果节点的子树不应按某种规那么被修剪,,即从根开始依次修剪节点,,按某种规那么剪掉了某个节点,但其子类是不应按这一规那么被剪掉的.
2〕对树进行修剪优化时应遵循的原那么.
①最小描述长度原那么〔,“最正确剪枝树〞.
②,即对树中的内部节点计算其剪枝/不剪枝可能出现的期望错误率,比拟后加以取舍.
③,“在与观察相容的理论中,应中选择最简单的一个“,决策树越小就越容易被理解,其存储与传输的代价也就越小.
ID3算法