文档介绍：会计学
1
机器学习统计学习理论与支持向量机算法
1
引言
第1页/共107页
统计学习理论讨论的是基于数据的机器学习问题
研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律，即基于观测设计优化过程，然后利用这些规律去分析客观对象，对未来数据或无法观测的数据进行预测。
主要任务：对于一种未知的依赖关系，以观测为基础对它进行估计。
引言
第2页/共107页
现有机器学习方法共同的重要理论基础之一是统计学
传统统计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。
但在实际问题中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人意。
第3页/共107页
统计学习理论(Statistical Learning Theory 或SLT )
是一种专门研究小样本情况下机器学习规律的理论
Vladimir N. Vapnik等人从六、七十年代开始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏实质性进展, 统计学习理论开始受到越来越广泛的重视。
第4页/共107页
统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。
在这一理论基础上发展了一种新的通用学习方法——支持向量机(Support Vector Machine或SVM )，它已初步表现出很多优于已有方法的性能。
第5页/共107页
2
统计学习理论
第6页/共107页
经典的统计基础存在两个理论缺陷
没有对经验风险最小化原则下统计学习的一致性进行分析，不能保证经验风险的最小值(或下确界)收敛到(或依概率收敛到)期望风险的最小值(或下确界)。
大数定律描述的是一个极限过程，不对收敛速度进行分析，那么在样本数目有限的情况下，以频率代替概率(均值代替期望)并不一定能得到好的近似。
统计学习理论的形成与发展
第7页/共107页
针对这两个问题，统计学习理论从理论上系统地分析经验最小化原则成立的条件，建立了学习过程收敛速度的界，进而提出了小样本归纳推理原则，并给出控制学习过程的推广能力的方法。
到20世纪90年代，统计学习理论已基本成熟。1995年，Vapnik完成专著《The Nature of Statistical Learning Theory》，这是统计学习理论走向成熟和得到正式承认的标志。
第8页/共107页
围绕学习问题的一般过程统计学习理论分成从理论向实践渐进的4个部分
学习过程一致性的理论（一个基于ERM原则的学习过程一致充分必要条件是什么？）
一个基于经验风险最小化原则的学习过程，满足怎样的条件时，它的经验风险与实际风险趋向一致。在分类问题中存在对应的充分必要条件，而对拟合问题目前仅存在充分条件。
学习过程收敛速度的理论（这个学习过程收敛的速度有多快？）
如果学习过程的经验风险与实际风险趋向一致，那么它们间的接近速度随着训练样本数的增加，是如何变化的，哪些因素控制着它们接近的速度。
第9页/共107页