文档介绍：数据挖掘中分类算法小结--Focus on BI 数据仓库, 数据库或者其它信息库中隐藏着许多可以为商业、科研等活动的决策提供所需要的知识。分类与预测是两种数据分析形式,它们可以用来抽取能够描述重要数据集合或预测未来数据趋势的模型。分类方法( Classification )用于预测数据对象的离散类别( Categorical Label ); 预测方法( Prediction ) 用于预测数据对象的连续取值。分类技术在很多领域都有应用, 例如可以通过客户分类构造一个分类模型来对银行贷款进行风险评估; 当前的市场营销中很重要的一个特点是强调客户细分。客户类别分析的功能也在于此, 采用数据挖掘中的分类技术, 可以将客户分成不同的类别, 比如呼叫中心设计时可以分为:呼叫频繁的客户、偶然大量呼叫的客户、稳定呼叫的客户、其他, 帮助呼叫中心寻找出这些不同种类客户之间的特征, 这样的分类模型可以让用户了解不同行为类别客户的分布特征; 其他分类应用如文献检索和搜索引擎中的自动文本分类技术; 安全领域有基于分类技术的入侵检测等等。机器学****专家系统、统计学和神经网络等领域的研究人员已经提出了许多具体的分类预测方法。下面对分类流程作个简要描述: 训练:训练集——> 特征选取——> 训练——> 分类器分类:新样本——> 特征选取——> 分类——> 判决最初的数据挖掘分类应用大多都是在这些方法及基于内存基础上所构造的算法。目前数据挖掘方法都要求具有基于外存以处理大规模数据集合能力且具有可扩展能力。下面对几种主要的分类方法做个简要介绍: (1 )决策树决策树归纳是经典的分类算法。它采用自顶向下递归的各个击破方式构造决策树。树的每一个结点上使用信息增益度量选择测试属性。可以从生成的决策树中提取规则。(2) KNN 法(K-Nearest Neighbor) KNN 法即 K 最近邻法,最初由 Cover 和 Hart 于 1968 年提出的, 是一个理论上比较成熟的方法。该方法的思路非常简单直观: 如果一个样本在特征空间中的 k 个最相似( 即特征空间中最邻近) 的样本中的大多数属于某一个类别, 则该样本也属于这个类别。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 KNN 方法虽然从原理上也依赖于极限定理,但在类别决策时,只与极少量的相邻样本有关。因此, 采用这种方法可以较好地避免样本的不平衡问题。另外,由于 KNN 方法主要靠周围有限的邻近的样本, 而不是靠判别类域的方法来确定所属类别的, 因此对于类域的交叉或重叠较多的待分样本集来说, KNN 方法较其他方法更为适合。该方法的不足之处是计算量较大, 因为对每一个待分类的文本都要计算它到全体已知样本的距离, 才能求得它的 K 个最近邻点。目前常用的解决方法是事先对已知样本点进行剪辑, 事先去除对分类作用不大的样本。另外还有一种 Reverse KNN 法, 能降低 KNN 算法的计算复杂度,提高分类的效率。该算法比较适用于样本容量比较大的类域的自动分类, 而那些样本容量较小的类域采用这种算法比较容易产生误分。(3) SVM 法 SVM 法即支持向量机(Support Vector Machine) 法,由 Vapni k 等人于 1995 年提出,具有相对优良的性能指标。该方法是建立在统