文档介绍：北京邮电大学博上论文摘要基于规则的方法。基于规则的方法,优点是简单、效率高,而且发现新规则后可以方便地加入。但规则总会有例外,规则过多以后,需要权衡这些规则,保持其一致性,这是很困难的。另外,基于规则的方法对领域的依赖性强,可移植性差。基于统计的方法需要有合适的方法产生大量廉价的训练数据,计算复杂度高,但它与应用领域无关,可移植性好。20世纪60年代中期至80年代中期,由于人工智能的研究重点是符号系统和基于知识的方法,机器学习以基于规则的方法为主。20世纪80年代后期,随着神经网络研究重新崛起及其成功应用,基于统计的学习方法迅速发展。特别是最近十几年,互联网的普及和计算机在各个领域的应用,大量数据潮水般涌来,如何从中发现隐含的知识,对机器学习提出了重大挑战,也给基于统计的学习方法带来新的发展机遇。在众多基于统计的学习方法中,支持向量机(SupportVectorMachine,简称SVM)是个新秀,但因其深厚的理论背景和出色的实际表现备受人们青睐。支持向量机是20世纪90年代中期出现的机器学习技术,是近年来机器学习领域的研究热点。这项技术从提出到现在不过十年时间,但其研究进展非常之快、之大。它有坚实的理论基础,应用上也是有口皆碑,在手写体数字识别、文本分类等具体问题上创造和保持着目前的最好记录。这项既经得起理论推敲又经得起实践检验的技术,是传统机器学习技术不能比的,它的发展潜力是令人鼓舞的。基于这样的认识,我选择了这一研究领域。支持向量机的理论基础是统计学习理论,该理论的研究始于20世纪60年代末。此后近20年时间里,前苏联学者Vapnik做了大量开创性、奠基性的工作,提出了“结构风险最小化"原理。这个时期的工作主要是纯理论性的,没有引起人们重视。1995年,Corts&Vapnik在其论文“works"中提出支持向量机,它实现了“结构风险最北京邮电大学博士论文摘要小化”原理。支持向量机有很强的泛化能力,它在解决复杂问题,诸如手写体数字识别、人脸检测、文本分类、大规模生物信息处理等方诬的上乘表现,引起人们极大关注。国内外著名大学和大公司的研发机构纷纷成立了相关的研究小组,越来越多的人加入这一研究行列,形成近年来机器学习领域的研究热点。基础研究涉及训练算法、模型选择、多目标分类等,应用研究涉及三维目标识别、非线性模式重建、智能信号处理、信息检索、文本分类和数据挖掘等。有关的国际学术会议、专业杂志和专业网站雨后春笋般地从无到有,规模由小到大。如今,支持向量学习已成为机器学习的主流技术之一·不夸张地说,就像信息论为信息技术的崛起开辟道路一样,统计学习理论带来了机器学习领域一场深刻变革。支持向量机本质上是一种非线性数据处理方法。与传统的人工神经网络不同,后者基于“经验风险最小化原理",前者基于“结构风险最小化原理’’。“结构风险最小化原理刀建立在严谨的数学理论基础之上,令人耳目一新,使人们对学习机的认识发生了深刻变化。支持向量机具有以下显著特征。(1)结构简单。(2)凸优化问题。有关的优化问题无局部极小点。(3)稀疏表示。最优分离超平面之法向量W是训练样本的线性组合,每个样本的系数在某种意义上反映了该样本的重要性。分类问题的有用信息全部包含在系数不为零的那些样本即支持向量中。如果从训练集中去掉非支持向量,或使其在原来位置附近有微小偏移,则重新训练后,所得最优超平面与原来相同。即问题的解仅与支持向量有关。(4)模块化。它清楚地分成两个模块:一个通用的学习机和与具体问题有关的核函数。这使我们能够把设计一个好的学习算法和设计一个好的核函数分开来研究。这种模块化处理方法便于理论分析和工程实现。(5)本质上是线性学习机。它是核函数诱导的(隐含的)特征空间北京邮电大学博士论文摘要上的线性函数,因而便于理论分析。支持向量机体现了以下重要思想和方法。(1)边缘最大化思想。通过最优超平面来构造判决函数,实现了“结构风险最小化原理",避免了对训练集过度拟合,保证了支持向量机的泛化能力。(2)对偶表示。在对偶表示中训练数据仅以内积形式出现,因此可以用核函数来代替内积。(3)核方法。从线性分类器转变成非线性分类器,只需要以核函数替换原来的内积。除此之外,原来的线性算法保持不变,线性分类器的全部优点都被继承下来,如计算简单、无局部极小点等。通过核函数能够在输入空间间接地完成高维特征空间(具有更丰富的结构)中的操作,计算复杂度没有实质性增加,但解决了复杂函数的表示问题。引进核函数之后,特征空间的维数变得不再重要了,甚至不必知道特征映射的具体形式,避免了维数灾难。通过改变核函数,可以得到不同的分类器。支持向量机最初是用来解决分类问题的,其思想和方法后来被拓展到其他领域,如回归分析、函数逼近、密度估计,还有主成分分析、K_近邻、费歇判决等。核方法也发展成了一种方法论