文档介绍：支持向量机 SVM
同时适用于线性和非线性数据的分类方法
使用非线性映射将原始的训练数据映射到一个更高维的空间中
利用新的维度,SVM寻找线性的最佳决策边界
使用一个恰当的到足够高维空间的非线性映射,两个分类的数据总可以用一个超平面分离
SVM 通过使用支持向量机来找到这个超平面和它的边缘
SVM—支持向量机
支持向量机
寻找一个线性超平面(决策边界) 用来分离两个类的样本
支持向量机——线性可分情况
考虑一个包含N个训练样本的二元分类问题。
每个样本表示为一个二元组(xi,yi)(i=1,2,...,N),其中xi=(xi1,xi2,...xin),对应于第i个样本的属性集。
令yi{-1,+1}表示它的类标号
假设有如图所示的数据,每个数据只有两个属性A1和A2
从图中可以看到该数据集是线性可分的,因为可以画一条直线将类+1的样本与类-1的样本分开
支持向量机
一个可能的解
支持向量机
另一个解
支持向量机
其它可能的解
支持向量机
B1或B2哪一个是最好的?
如何定义“最好”?
支持向量机
可以画出无限多条分离直线。那条是最好的呢?
希望对先前未见到的样本具有最小分类误差的那一条。
在3维情形,我们要找的是最佳分离平面。推广到一般的n维空间,则希望找出最佳超平面来分离样本
支持向量机
SVM通过搜索最大边缘超平面(maximum marginal hyperplane)来处理该问题。下图显示了两个可能的分离超平面和相关连的边缘。
两个超平面对所有已知的样本正确地进行了分类。
从图上观察,直观地我们期望具有较大边缘的超平面在对未来的样本分类比具有较小边缘的超平面更准确。
在学****阶段,SVM要搜索具有最大边缘的超平面。最大超平面(MMH)相关联的边缘给出类之间的最大分离