文档介绍：Support Vector Machine 支持向量机
张鑫
2002.
提纲
SVM的有关概念介绍
SVM问题的数学表示和推导
简单的最优分类面SVM
广义最优分类面 SVM
非线性最优分类面SVM
SVM的分解算法
SVM的描述
SVM是一种基于统计学习理论的模式识别方法,它是由Boser,Guyon,Vapnik在COLT-92上首次提出,从此迅速的发展起来,现在已经在许多领域(生物信息学,文本和手写识别等)都取得了成功的应用
putational Learning Theory)
目标:找到一个超平面,使得它能够尽可能多的将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。
解决方法:构造一个在约束条件下的优化问题,具体的说是一个受限二次规划问题(constrained quadratic programing),求解该问题,得到分类器。
模式识别问题的一般描述
已知:n个观测样本,(x1,y1), (x2,y2)……(xn,yn)
求:最优函数y’= f(x,w)
满足条件:期望风险最小
损失函数
期望风险R(w)要依赖联合概率F(x,y)的信息,实际问题中无法计算。
一般用经验风险Remp(w)代替期望风险R(w)
一般模式识别方法的问题
经验风险最小不等于期望风险最小,不能保证分类器的推广能力.
经验风险只有在样本数无穷大趋近于期望风险,需要非常多的样本才能保证分类器的性能。
需要找到经验风险最小和推广能力最大的平衡点。
最优分类面
简单情况:在线性可分的情况下的最优分类面(Margine最大)
SVM问题的数学表示
已知:n个观测样本,(x1,y1), (x2,y2)……(xn,yn)
目标:最优分类面 wx-b=0
满足条件:是分类面
经验风险最小(错分最少)
推广能力最大(空白最大)
分类面方程满足条件
对(xi,yi) 分类面方程g(x)=wx-b应满足
即