[机器学习和支持向量机].docx

文档介绍：[机器学习和支持向量机]

　　现代社会我们已经越来越离不开对未知信息的估计：例如天气预报，地震、海啸预警，山体滑坡、泥石流等自然劫难的预报等等，那么我们是根据什么对未知世界进行估计的呢？这就不得不提到人工智能的一种分支――机器学习。[机器学习和支持向量机]

　　现代社会我们已经越来越离不开对未知信息的估计：例如天气预报，地震、海啸预警，山体滑坡、泥石流等自然劫难的预报等等，那么我们是根据什么对未知世界进行估计的呢？这就不得不提到人工智能的一种分支――机器学习。
　　机器学习
　　机器学习是研究计算机如何模拟或实现人类的学习行为，获取新的知识或技能，并对已有的知识构造进行重新组织使之不断改善自身的一种新技术。机器学习的研究措施是从大量的观测数据谋求规律，运用这些规律对将来数据或无法观测的数据进行估计。迄今为止，有关机器学习还没有一种被共同接受的理论框架，有关其实现措施有如下几种：
　　第一种是老式记录学理论，亦即典型的记录估计措施。事实上，老式参数估计措施正是基于老式记录学的，在这种措施中，参数的有关形式是已知的，训练样本用来估计参数的值。但这种措施有很大的局限性：一方面，它需要已知样本分布形式，这需要耗费很大代价；另一方面，老式记录学研究的所有是假设样本数目趋于无穷大时的渐近理论。而实际问题中，样本的数目往往是有限的，因此部分理论上很优秀的学习措施实际中体现却也许不尽人意。
　　第二种措施是经验非线性措施。经验非线性措施运用已知样本建立非线性模型，克服了老式参数估计措施的困难。但是，这种措施缺少一种统一的数学理论。以神经网络为例，神经网络是目前运用较多也是最早应用的非线性分类，由于神经网络是基于经验最小化原理，它具有对非线性数据迅速建模的能力，通过对训练集的反复学习来调节自身的网络构造和连接权值，并对未知的数据进行分类和估计。但是，神经网络从某种意义上说是一种启发式的学习机，自身有很大经验的成分，它有诸如如何拟定网络构造的问题、过学习和欠学习问题、局部极小点问题、训练出来的模型推广能力不强等固有问题得不到较好的解决。
　　为了克服神经网络算法这个无法避免的难题，万普尼克领导的AT&T Bell实验室研究小组提出了记录学录学习理论是一种专门研究小样本状况下机器学录问题建立了一套新的理论体系，在这种体系下的记录推理规则不仅考虑了对渐近性能的规定，并且追求在既有有限信息的条件下得到最优成果。Vapnik还在记录学习理论基本上提出了支持向量机，是一种全新的模式辨认措施。由于当时这些研究尚不十分完善，在解决模式辨认问题中往往趋于保守，且数学上比较难以解释，因此对支持向量机的研究始终没有得到充足注重。直到20世纪90年代，由于神经网络等机器学习措施的研究遇到部分难以解决的瓶颈，使得支持向量机的研究得到注重并迅速发展和完善。支持向量机是基于构造风险最小化原理的一种新措施，运用构造风险最小化原理使得VC维即泛化误差的上确界最小化，从而使支持向量机具有较好的泛化能力。支持向量机在解决小样本、非线性及高维模式辨认问题中体现出诸多特有的优势，并可以推广应用到函数拟合等其他机器学习问题中。SVM最初是针对分类问题提出的，目前也被推广到回归问题上。鉴于SVM夯实的理论基本，SVM目前已经成为机器学习的研究