文档介绍：精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
第3章 支持向量机基础
By Dean 1Nαi*yixi (3-9)
其中αi*不为0对应的即为支持向量(Support Vector). 并且最优分类面的权系数向量是支持向量的线性组合。分类阀值b*可由(3-6)式求得，
b*=-12w*, xr+xs (3-10)
式中xr,xs分别是两类中任意支持向量，αr,αs>0,yr=-1,ys=，非支持向量所对应的αi=0,所以最优分类面函数可简写为：
fx=sgnsvαi*yixi,x+b* (3-11)
此时SVM最一般的表达式已经被求得。
但当有少数样本使得原来线性可分的问题变成不可分问题，从而影响了分类器的性能。有时这少数的样本也是噪声，或是奇异值点，是我们在人工对数据分类错分的，为了忽略这些点对分类器的影响，和在经验风险和泛化性能之间求得平衡，松弛因子ξ被引入。它容许错分样本的存在，这时分类面满足：
yiw*x+b≥1-ξi, i=1,…N (3-12)
当0≤ξi≪1时，样本xi可以正确分类；当ξi≫1时，样本xi会被错分。由于松弛因子的引入，式（3-3）的目标函数被改写为:
Φw,ξ=12w2+Ci=1Nξi (3-13)
式中C是惩罚因子(一个正常数). 此时，式目标函数凸二次规划寻优的对偶问题约束条件(3-8)可被变换为如为：
0≤αi≤Ci=1Nαiyi=0 (3-14)
精选优质文档-----倾情为你奉上
精选优质文档-----倾情为你奉上
专心---专注---专业
专心---专注---专业
精选优质文档-----倾情为你奉上
专心---专注---专业
对于非线性分类问题，在原始空间中最优化分类面也许不能得到令人满意的分类结果。针对这种情况，一个解决的思想是把原始空间中的非线性样本数据投影到某个更高维的空间中，在高维的空间中寻找一个最优超平面能线性地将样本数据分开，但是这种变化可能非常复杂。支持向量机利用核函数巧妙地解决了这个问题。核函数变换的基本思想是将一个n维空间中矢量x映射到更高维的特征空间中去，然后在高维空间中进行线性地分类。。由（3-7）、（3-11）可看出，都只涉及训练样本之间的点积运算xi,xj。假设存在一个非线性映射Φ将Rn空间的样本映射到更高维的H空间中，即：
Φ：Rn→H
在特征空间H中构造最优分类面时，计算的过程中仅使用了空间中的点积Φxi,Φxj，而没有用到单独的Φxi。如果存在一个“核函数”K，且Kxi,xj=Φxi,Φxj，那么在训练算法是，我们将仅仅需要使用核函数K，且不需要知道具体的Φ是什么。这样在高维空间中只需要进行点积运算，且这种运算是用原来空间中的函数实现的。根据泛函的