文档介绍：支持向量机(SVM)简介
付岩
2007年6月12日
提纲
统计学****理论基本思想
标准形式的分类SVM
核函数技术
SVM快速实现算法
SVM的一些扩展形式
学****问题
产生器(G),随机产生向量,它带有一定但未知的概率分布函数F(x)
训练器(S),条件概率分布函数F(y|x) ,期望响应y和输入向量x关系为y=f(x,v)
学****机器(LM),输入-输出映射函数集y=f(x,w),w W,W是参数集合。
学****问题
学****问题就是从给定的函数集f(x,w),w W中选择出能够最好的逼近训练器响应的函数。而这种选择是基于训练集的,训练集由根据联合分布F(x,y)=F(x)F(y|x)抽取的n个独立同分布样本
(xi,yi), i=1,2,…,n
组成。
学****问题的表示
学****的目的就是,在联合概率分布函数F(x,y)未知、所有可用的信息都包含在训练集中的情况下,寻找函数f(x,w0),使它(在函数类f(x,w),(w W)上最小化风险泛函
模式别别问题
经验风险最小化原则(ERM )
最小化经验风险(训练样本错误率) :
ERM的缺点
用ERM准则代替期望风险最小化并没有经过充分的理论论证,只是直观上合理的想当然做法
这种思想却在多年的机器学****方法研究中占据了主要地位。人们多年来将大部分注意力集中到如何更好地最小化经验风险上。
而实际上,即使可以假定当n趋向于无穷大时经验风险也不一定趋近于期望风险,在很多问题中的样本数目也离无穷大相去甚远。
如神经网络
统计学****理论
用经验风险最小化原则解决期望风险最小化问题的前提是什么?
当这些前提不成立时经验风险最小化方法的性能如何?
是否可以找到更合理的原则?
Vapnik-Chervonenkis(VC)维
VC维是对由学****机器能够实现的分类函数族的容量或表达力的测度。
分类函数集={ f(x,w):w∈W}的VC维是能被机器对于分类函数的所有可能二分标志无错学****的训练样本的最大数量
描述了学****机器的复杂性
VC维的估计是有待有待研究的问题
学****机器实际风险的界
学****机器实际风险的界
其中n样本数量,h是VC维,Φ是递减函数
两种方法:
神经网络: 保持置信范围固定(通过选择一个适当构造的机器)并最小化经验风险。
支持向量机(SVM): 保持经验风险固定(比如等于零)并最小化置信范围。