1 / 10
文档名称:

数据挖掘机器学习总结.doc

格式:doc   大小:22KB   页数:10页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

数据挖掘机器学习总结.doc

上传人:慢慢老师 2021/5/4 文件大小:22 KB

下载得到文件列表

数据挖掘机器学习总结.doc

文档介绍

文档介绍:数据挖掘机器学****总结
  1 决策树算法
  机器学****中,决策树是一个预测模型;它代表的是对象属性值与对象值之间的一种映射关系。树中每个节点表示某个对象,每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应具有上述属性值的子对象。决策树仅有单一输出;若需要多个输出,可以建立独立的决策树以处理不同输出。
  从数据产生决策树的机器学****技术叫做决策树学****通俗说就是决策树。
  决策树学****也是数据挖掘中一个普通的方法。在这里,每个决策树都表述了一种树型结构,它由它的分支来对该类型的对象依靠属性进行分类。每个决策树可以依靠对源数据库的分割进行数据测试。这个过程可以递归式的对树进行修剪。当不能再进行分割或一个单独的类可以被应用于某一分支时,递归过程就完成了。另外,随机森林分类器将许多决策树结合起来以提升分类的正确率。 决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。
   决策树的工作原理
  决策树一般都是自上而下的来生成的。
  选择分割的方法有多种,但是目的都是一致的,即对目标类尝试进行最佳的分割。
  从根节点到叶子节点都有一条路径,这条路径就是一条“规则”。
  决策树可以是二叉的,也可以是多叉的。
  对每个节点的衡量:
  1) 通过该节点的记录数;
  2) 如果是叶子节点的话,分类的路径;
  3) 对叶子节点正确分类的比例。
  有些规则的效果可以比其他的一些规则要好。
   ID3算法
   概念提取算法CLS
  1) 初始化参数C={E},E包括所有的例子,为根;
  2) 如果C中的任一元素e同属于同一个决策类则创建一个叶子节点YES终止;否则依启发式标准,选择特征Fi={V1, V2, V3,……, Vn}并创建判定节点,划分C为互不相交的N个集合C1,C2,C3,……,Cn;
  3) 对任一个Ci递归。
   ID3算法
  1) 随机选择C的一个子集W (窗口);
  2) 调用CLS生成W的分类树DT(强调的启发式标准在后);
  3) 顺序扫描C搜集DT的意外(即由DT无法确定的例子);
  4) 组合W与已发现的意外,形成新的W;
  5) 重复2)到4),直到无例外为止。
  启发式标准:
  只跟本身与其子树有关,采取信息理论用熵来量度。
  熵是选择事件时选择自由度的量度,其计算方法为:P=freq(Cj,S)/|S|;INFO(S)=-SUM(P*LOG(P));SUM()函数是求j从1到n的和。Gain(X)=Info(X)-Infox(X);Infox(X)=SUM( (|Ti|/|T|)*Info(X);
  为保证生成的决策树最小,ID3算法在生成子树时,选取使生成的子树的熵(即Gain(S))最小的特征来生成子树。
  ID3算法对数据的要求:
  1) 所有属性必须为离散量;
  2) 所有的训练例的所有属性必须有一个明确的值;
  3) 相同的因素必须得到相同的结论且训练例必须唯一。
  
  由于ID3算法在实际应用中存在一些问题,,