文档介绍：支持向量机介绍
统计学****理论
1
统计学****理论
统计学****理论是小样本统计估计和预测学****的最佳理论。
假设输出变量Y与输入变量X之间存在某种对应的依赖关系,即一未知概率分布P(X,Y),P(X,Y)反映了某种知识。学****问题可以概括为:根据l个独立同分布( independently drawn and identically distributed )的观测样本train set,
(x1,y1),(x2,y2),…,(xn,yn)
2
支持向量机(SVM)
支持向量机(Support Vector Machine,SVM)是由Boser,Guyon和Vapnik发明,并首次在计算学****理论(COLT)1992年年会论文中提出。它是继人工神经网络后,智能计算领域发展的又一里程碑。支持向量机以严格证明的统计学****理论为基础,使用核函数把数据从样本空间映射到高维特征空间,将非线性问题转化为线性可分问题,获得最优解,是一重大的理论创新。支持向量机有严密的数学基础,训练结果只与支持向量有关,且泛化性强,成为了解决非线性问题的重要工具,因此,受到智能计算领域学者的广泛关注,在模式分类和回归领域得到了广泛的应用。
3
机器学****的基本问题和方法
从给定的函数集Ω中选择出能够最好地逼近系统响应的函数ω
系统(S)
学****机器(LM)
输入x
输出y
4
有指导机器学****的目的是根据给定的训练样本,求出对某系统输入输出之间依赖关系的估计,使它能够对未知输入作出尽可能准确的预测。可以一般地表示为:变量y与x存在一定的未知依赖关系,即遵循某一未知的联合概率F(x,y)(x 和y 之间的确定性关系可以看作是其特例),有指导机器学****问题就是根据N个独立同分布观测样本
在一组函数{f (x,w)}中求一个最优的函数 f (x,w0)对依赖关系进行估计,使期望风险
最小
5
期望风险
学****到一个假设H=f(x, w) 作为预测函数,(X,Y)的期望风险R(w)是(即统计学****的实际风险):

其中,{f(x,w)}称作预测函数集,w为函数的广义参数。{f(x,w)}可以表示任何函数集。L(y,f(x,w))为由于用f(x,w)对y进行预测而造成的损失。不同类型的学****问题有不同形式的损失函数。
6
而对train set上产生的风险Remp(w)被称为经验风险(学****的训练误差):
首先Remp(w)和R(w)都是w的函数,传统概率论中的定理只说明了(在一定条件下)当样本趋于无穷多时Remp(w)将在概率意义上趋近于R(w),却没有保证使Remp(w)最小的点也能够使R(w) 最小(同步最小)。
经验风险
7
经验风险最小化准则
因为是由训练样本(即经验数据)定义的,因此称之为经验风险。用求经验风险的最小值代替求期望风险R (a)的最小值,就是所谓的经验风险最小化(ERM)准则
从期望风险最小化到经验风险最小化的理论依据是大数定理,只有当训练样本趋近于无穷大的时候,经验风险才趋近于期望风险。即:
8
过学****Overfitting and underfitting
Problem: how rich class of classifications q(x;θ) to use.
underfitting
overfitting
good fit
Problem of generalization: a small emprical risk Remp does not imply small true expected risk R.
9
存在的问题
由于经验风险最小化代替期望风险最小化的理论依据是大数定理,实际的机器学****不能满足训练样本趋近于无穷大这一苛刻的要求,致使经验风险最小化准则算法复杂性大与泛化能力差。
例如:基于经验风险最小化准则人工神经网络研究中,广大学者总是把注意力集中在如何使更小,但很快便发现,一味追求训练误差小并不是总能达到好的预测效果。
10