文档介绍：基于支持向量机的增量学****算法摘要:分析了支持向量的性质和增量学****过程,提出了一种新的增量学****算法,舍弃了对最终分类无用的样本,在保证测试精度的同时减少了训练时间。最后的数值实验和应用实例说明该算法是可行、有效的。??关键词:结构风险最小化;支持向量;增量学****中图分类号::A文章编号:1001-3695(2007)08-0048-02支持向量机(supportvectormachine,SVM)由Vapnik及其合发明,在1992年计算学****理论会议上进入机器学****领域之后,便受到了广泛关注。它建立在结构风险最小化原则基础之上,具有很强的学****能力和泛化性能,能够较好地解决小样本、高维数、非线性、局部极小等问题,可以有效地进行分类、回归、密度估计等。由于这些优点,其得到了全面深入的发展,现已成为机器学****和数据挖掘领域的标准工具。??增量学****技术(incrementallearningtechnique)是一种得到广泛应用的智能化数据挖掘与知识发现技术。其思想是当样本逐步积累时,学****精度也要随之提高。与传统学****技术相比,增量学****技术可以充分利用历史学****的结果,显著节省后继训练时间。一种机器学****方法是否具有良好的增量学****功能已经成为评价其性能优劣的重要标准之一。经典的支持向量机理论与增量式学****并不具备直接的相容性。但是支持向量机训练所得的支持向量能够完全反映分类超平面的信息,而支持向量通常只占训练样本很小一部份,这对支持向量机增量学****算法的构建具有重要意义。??1支持向量机基本理论??支持向量机的理论最初来自对数据分类问题的处理。对于数据分类问题,如果采用通用的神经网络方法来实现,其机理可以简单地描述为:系统随机产生一个超平面并移动它,直到训练集中属于不同分类的点正好位于平面的不同侧面。这种处理机制决定了用神经网络方法进行数据分类,最终获得的分割平面将相当靠近训练集中的点,而在绝大多数情况下,这并不是一个最优解。为此,SVM考虑寻找一个满足分类要求的分割平面,并使训练集中的点距离该分割平面尽可能地远,即寻找一个分割平面,使其两侧的空白区域最大。??如果分类问题是非线性的,则采用一种称为核函数(kernelfunction)的方法,使输入空间映射到高维核函数特征空间,将非线性问题转换为该空间中的线性分类问题。根据泛函理论,特征空间中对偶问题和得到的决策函数中的点积可以由输入空间中的核函数来替换。此时,决策函数为??2增量学****算法??当核函数类型及其参数确定后,支持向量集可以完全描述整个样本集的分类特征,支持向量集和训练样本集之间的等价关系可以得到证明。但是随着新样本集的引入,打破了支持向量集和初始训练样本集的等价关系,使得原有的支持向量集已不能充分刻画新训练集的分类特征。??定理2表明,KKT条件比分类函数的分类判断更合理,分类错误是样本违反KKT条件的特定情况。只有违背KKT条件的样本,才会影响增量学****后的支持向量集。因此,新增样本可以分为违背KKT条件的样本和满足KKT条件的样本两部分。后者由于包含的信息已经被原来分类器所反映,可以不被学****3新的SVM增量学****算法??4实验结果及分析??在上面研究的基础上,本文对包含3483个手工标定的文档样本,使用新的SVM增量学****算法进行电子文本的自动分类实验。实验中分别选取样本空间中527个