非线性可分支持向量机.docx

文档介绍：当分类出现错误时,ξi大于零, 是分类错误数量的一个上界
对非线性问题,可以通过非线性变换转化为某个高维空间中的线性问题,在变换空间求最优分类面。由于变换的复杂性,这种思路在一般情况下不容易实现。但是在上述两种情况下的对偶问题中,无论是式()的寻优函数还是式()的分类函数都只涉及训练样本之间的内积运算,因此在高维空间实际上只需进行内积运算,而这种内积运算是可以用原空间中的函数实现的,我们甚至没有必要知道变换的形式。根据泛函的有关理论,只要一种核函数满足Mercer 条件,它就对应某一变换空间中的内积[ 2 ]。
因此,在最优分类面中采用适当的内积函数就可以实现某一非线性变换后的线性分类,而计算复杂度却没有增加,此时目标函数(12) 变为
而相应的分类函数也变为
这就是非线性支持向量机。所有情况下的支持向量机均可以用这两个函数来求解。
综合上述线性可分、线性不可分、非线性几种情况,支持向量机可以概括为首先通过用内积函数定义的非线性变换,将输入空间变换到一个高维空间,并在高维空间中求(广义)最优分类面,即利用最
优函数求解。支持向量机分类函数形式上则类似于一个神经网络,每一个中间节点都对应着一个支持向量,最终的输出则是中间节点的线性组合而成的,如图3所示。