文档介绍：王磊
西南财经大学
支持向量机 Support Vector Machines
2018/10/11
1
内容提要
统计学****方法概述
统计学****问题
学****过程的泛化能力
支持向量机
SVM寻优算法
应用
2018/10/11
2
期望风险
学****到一个假设H=f(x, w) 作为预测函数,(X,Y)的期望风险R(w)是(即统计学****的实际风险):
其中,{f(x,w)}称作预测函数集,w为函数的广义参数。{f(x,w)}可以表示任何函数集。L(y,f(x,w))为由于用f(x,w)对y进行预测而造成的损失。不同类型的学****问题有不同形式的损失函数。
2018/10/11
3
而对train set上产生的风险Remp(w)被称为经验风险(学****的训练误差):
首先Remp(w)和R(w)都是w的函数,传统概率论中的定理只说明了(在一定条件下)当样本趋于无穷多时Remp(w)将在概率意义上趋近于R(w),却没有保证使Remp(w)最小的点也能够使R(w) 最小(同步最小)。
经验风险
2018/10/11
4
根据统计学****理论中关于函数集的推广性的界的结论,对于两类分类问题中的指示函数集f(x, w)的所有函数(当然也包括使经验风险员小的函数),经验风险Remp(w)和实际风险R(w)之间至少以不下于1-η(0≤η≤1)的概率存在这样的关系:
结构风险
2018/10/11
5
VC维(函数的多样性)
为了研究经验风险最小化函数集的学****一致收敛速度和推广性,SLT定义了一些指标来衡量函数集的性能,其中最重要的就是VC维(Vapnik-Chervonenkis Dimension)。
VC维:对于一个指示函数(即只有0和1两种取值的函数)集,如果存在h个样本能够被函数集里的函数按照所有可能的2h种形式分开,则称函数集能够把h个样本打散,函数集的VC维就是能够打散的最大样本数目。
如果对任意的样本数,总有函数能打散它们,则函数集的VC维就是无穷大。
2018/10/11
6
VC维(函数的多样性)
2018/10/11
7
VC维(续)
一般而言,VC维越大, 学****能力就越强,但学****机器也越复杂。
目前还没有通用的关于计算任意函数集的VC维的理论,只有对一些特殊函数集的VC维可以准确知道。
N维实数空间中线性分类器和线性实函数的VC维是n+1。
Sin(ax)的VC维为无穷大。
……
2018/10/11
8
VC维(续)
Open problem: 对于给定的学****函数集,如何用理论或实验的方法计算其VC维是当前统计学****理论研究中有待解决的一个难点问题。
2018/10/11
9
推广性的界
统计学****理论地研究了经验风险和实际风险之间的关系,也即推广性的界。
根据SLT中关于函数集推广性界的理论,对于指示函数集中所有的函数,经验风险和实际风险之间至少以概率满足如下关系:
其中,h是函数集的VC维,n是样本数。
2018/10/11
10