1 / 24
文档名称:

机器学习10大经典算法.doc

格式:doc   大小:137KB   页数:24页
下载后只包含 1 个 DOC 格式的文档,没有任何的图纸或源代码,查看文件列表

如果您已付费下载过本站文档,您可以点这里二次下载

分享

预览

机器学习10大经典算法.doc

上传人:2112770869 2021/12/23 文件大小:137 KB

下载得到文件列表

机器学习10大经典算法.doc

文档介绍

文档介绍:1、
机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径那么代表的某个可能的属性值,而每个叶结点那么对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出,假设欲有复数输出,可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。
决策树学习也是数据挖掘中一个普通的方法。在这里,每个决策树都表述了一种树型构造,他由他的分支来对该类型的对象依靠属性进展分类。每个决策树可以依靠对源数据库的分割进展数据测试。这个过程可以递归式的对树进展修剪。 当不能再进展分割或一个单独的类可以被应用于某一分支时,递归过程就完成了。另外,随机森林分类器将许多决策树结合起来以提升分类的正确率。决策树同时也可以依靠计算条件概率来构造。决策树如果依靠数学的计算方法可以取得更加理想的效果。决策树一般都是自上而下的来生成的。
选择分割的方法有好几种,但是目的都是一致的:对目标类尝试进展最正确的分割。从根到叶子节点都有一条路径,这条路径就是一条“规那么〞。决策树可以是二叉的,也可以是多叉的。对每个节点的衡量:
1)通过该节点的记录数
2)如果是叶子节点的话,分类的路径
3)对叶子节点正确分类的比例。
有些规那么的效果可以比其他的一些规那么要好。由于ID3算法在实际应用中存在一些问题,,。,这里就不做介绍。
,并在以下几方面对ID3算法进展了改良:
1) 用信息增益率来选择属性,克制了用信息增益选择属性时偏向选择取值多的属性的缺乏;
2) 在树构造过程中进展剪枝;
3) 能够完成对连续属性的离散化处理;
4) 能够对不完整数据进展处理。
:产生的分类规那么易于理解,准确率较高。其缺点是:在构造树的过程中,需要对数据集进展屡次的顺序扫描和排序,因而导致算法的低效。此外,,当训练集大得无法在内存容纳时程序无法运行。
来自搜索的其他内容:,其核心算法是ID3算法. 分类决策树算法是从大量事例中进展提取分类规那么的自上而下的决策树.
决策树的各局部是: 根: 学习的事例集. 枝: 分类的判定条件. 叶: 分好的各个类.
ID3算法

1) 初始化参数C={E},E包括所有的例子,为根.
2) IF C中的任一元素e同属于同一个决策类那么创立一个叶子节点YES终止.
ELSE 依启发式标准,选择特征Fi={V1,V2,V3,...Vn}并创立判定节点划分C为互不相交的N个集合C1,C2,C3,...,Cn;
3) 对任一个Ci递归.
2. ID3算法
1) 随机选择C的一个子集W (窗口).
2) 调用CLS生成W的分类树DT(强调的启发式标准在后).
3) 顺序扫描C搜集DT的意外(即由DT无法确定的例子).
4) 组合W与已发现的意外,形成新的W.
5) 重复2)到4),直到无例外为止.
启发式标准:
只跟本身与其子树有关,采取信息理论用熵来量度.
熵是选择事件时选择自由度的量度,其计算方法为
P = freq(Cj,S)/|S|;
INFO(S)= - SUM( P*LOG(P) ) ; SUM()函数是求j从1到n和.
Gain(X)=Info(X)-Infox(X);
Infox(X)=SUM( (|Ti|/|T|)*Info(X);
为保证生成的决策树最小,ID3算法在生成子树时,选取使生成的子树的熵(即Gain(S))最小的的特征来生成子树.
§: ID3算法对数据的要求
1. 所有属性必须为离散量.
2. 所有的训练例的所有属性必须有一个明确的值.
3. 一样的因素必须得到一样的结论且训练例必须唯一.
§: :
1. 熵的改良,加上了子树的信息.
Split_Infox(X)= - SUM(

最近更新

针织用纱质量浅析 3页

采用精密距离测量在基坑平面位移中的应用 3页

《山中访友》教学设计 32页

连铸圆坯结晶器锥度优化设计研究 3页

辐照前处理木质纤维素的研究进展 3页

超声波淬火工艺在40Cr阶梯轴淬火中的应用 3页

论XBRL分类标准扩展——以石油天然气行业为例.. 3页

西非地区路网规划特点及公路建设发展研究 3页

行政事业单位内控测试评价、缺陷与优化探析 4页

表演动作猜成语素材 111页

苏54区块盒 8段储层气水分布特征及识别方法研.. 3页

2025年农村住房租赁市场租赁合同租赁权转让合.. 8页

职业企业家行为失范机理分析及其约束机制研究.. 3页

绩效考核在医院人力资源管理中的应用研究 3页

蒸发和降水的观测 57页

第六届粤港澳大湾区“粤菜师傅”技能大赛中式.. 13页

福建省旅游业发展前景SWOT分析 3页

硬质合金自动切菜机刀具设计及工艺优化 4页

石油销售企业竞争力的增强方式分析与研究 3页

苏霍姆林斯基给教师的100条建议之 9页

2025年鼓励孩子多读书的金句 7页

2025年鸡年农历九月宝宝取名技巧 4页

2025年高考选科选物理一定要选化学吗 4页

2025年高考毕业串场词 20页

苏卫单招校测2025试卷 9页

《黄河颂》33694省公开课一等奖全国示范课微课.. 29页

部编版九年级语文上册必背古诗文 8页

消毒小车策划书 4页

3D打印技术与虚拟现实的融合 26页

党建调研提纲 2页