文档介绍：《数据挖掘领域十大经典算法初探》
数据挖掘领域十大经典算法初探- 结构之法算法之道- 博客频道-
译者:July二零一一年一月十五日
参考文献:
国际权威的学术组织ICDM,于06年12月年评选出的数据挖掘领域的十大经典算法:
, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART.
《数据挖掘领域十大经典算法初探》
,
k-Means,
SVM,
Apriori,
EM,
PageRank,
AdaBoost,
kNN,
Naive Bayes,
CART
--------------------------
Rough Sets(18)
《数据挖掘领域十大经典算法初探》
,是机器学****算法中的一个分类决策树算法,ID3的改进算法。
决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。
:
1、用信息增益率来选择属性。
区别就在于一个是信息增益,一个是信息增益率。
因此,。
2、在树构造过程中进行剪枝,在构造决策树的时候,那些挂着几个元素的节点,不考虑最好,不然容易导致overfitting。
3、对非离散数据也能处理。
4、能够对不完整数据进行处理。
《数据挖掘领域十大经典算法初探》
k-means algorithm算法是一个聚类算法,把n的对象根据他们的属性分为k个分割(k < n >它与处理混合正态分布的最大期望算法很相似,因为他们都试图找到数据中自然聚类的中心。
它假设对象属性来自于空间向量,并且目标是使各个群组内部的均方误差总和最小。
非监督算法
*K人为指定。(未必能得到最优解)
K-Means
《数据挖掘领域十大经典算法初探》
Support vector machines
它是一种监督式学****的方法,它广泛的应用于统计分类以及回归分析中。
支持向量机将向量映射到一个更高维的空间里,在这个空间里建立有一个最大间隔超平面。
在分开数据的超平面的两边建有两个互相平行的超平面,分隔超平面使两个平行超平面的距离最大化。
假定平行超平面间的距离或差距越s大,分类器的总误差越小。
SVM
《数据挖掘领域十大经典算法初探》
The Apriori algorithm
Apriori算法基本思想:统计多种商品一次购买中共同出现的频次,将不同的搭配转换为不同的规则。
其核心是基于两阶段频集思想的递推算法。用上一次扫描数据库的结果产生本次的候选项目集,从而提升效率。
The Apriori algorithm
《数据挖掘领域十大经典算法初探》
在统计计算中,最大期望(EM,Expectation–Maximization)算法是在概率
(probabilistic)模型中寻找参数最大似然估计的算法,其中概率模型依赖于无法观测的隐藏变量(Latent Variabl)。
最大期望经常用在机器学****和计算机视觉的数据集聚(Data Clustering)领域。
EM
《数据挖掘领域十大经典算法初探》
PageRank是Google算法的重要内容。
2001年9月被授予美国专利,专利人是Google创始人之一拉里•佩奇(Larry Page)。
PageRank根据网站的外部链接和内部链接的数量和质量,衡量网站的价值。
PageRank背后的概念是,每个到页面的链接都是对该页面的一次投票, 被链接的越多,就意味着被其他网站投票越多。
PageRank这个概念引自学术中一篇论文的被引述的频度——即被别人引述的次数越多,一般判断这篇论文的权威性就越高。
HITS
Page
Rank
《数据挖掘领域十大经典算法初探》
Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。
将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器融合起来,作为最后的决策分类器。
AdaBoost
《数据挖掘领域十大经典算法初探》
k-nearest neighbor classification
K最近邻(k-Nearest Neighbor,KNN)分类算法,是一个理论上比较成熟的方法,也是最简单的机