文档介绍：第二章统计学习理论与支持向量机算法1引言统计学习理论讨论的是基于数据的机器学习问题研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律,即基于观测设计优化过程,然后利用这些规律去分析客观对象,对未来数据或无法观测的数据进行预测。主要任务:对于一种未知的依赖关系,以观测为基础对它进行估计。,现有学习方法也多是基于此假设。但在实际问题中,样本数往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。统计学习理论(StatisticalLearningTheory或SLT)、七十年代开始致力于此方面研究,到九十年代中期,随着其理论的不断发展和成熟,也由于神经网络等学习方法在理论上缺乏实质性进展,统计学习理论开始受到越来越广泛的重视。统计学习理论是建立在一套较坚实的理论基础之上的,为解决有限样本学习问题提供了一个统一的框架。在这一理论基础上发展了一种新的通用学习方法——支持向量机(SupportVectorMachine或SVM),它已初步表现出很多优于已有方法的性能。2统计学习理论经典的统计基础存在两个理论缺陷没有对经验风险最小化原则下统计学习的一致性进行分析,不能保证经验风险的最小值(或下确界)收敛到(或依概率收敛到)期望风险的最小值(或下确界)。大数定律描述的是一个极限过程,不对收敛速度进行分析,那么在样本数目有限的情况下,以频率代替概率(均值代替期望)并不一定能得到好的近似。,统计学习理论从理论上系统地分析经验最小化原则成立的条件,建立了学习过程收敛速度的界,进而提出了小样本归纳推理原则,并给出控制学习过程的推广能力的方法。到20世纪90年代,统计学习理论已基本成熟。1995年,Vapnik完成专著《TheNatureofStatisticalLearningTheory》,这是统计学习理论走向成熟和得到正式承认的标志。围绕学习问题的一般过程统计学习理论分成从理论向实践渐进的4个部分学习过程一致性的理论(一个基于ERM原则的学习过程一致充分必要条件是什么?)一个基于经验风险最小化原则的学习过程,满足怎样的条件时,它的经验风险与实际风险趋向一致。在分类问题中存在对应的充分必要条件,而对拟合问题目前仅存在充分条件。学习过程收敛速度的理论(这个学习过程收敛的速度有多快?)如果学习过程的经验风险与实际风险趋向一致,那么它们间的接近速度随着训练样本数的增加,是如何变化的,哪些因素控制着它们接近的速度。