文档介绍：支持向量机( support vector machine , SVM )支持向量机( support vector machine , SVM ) 信息科学技术学院信息科学技术学院· ·网络研究所网络研究所 Outline Outline ?? SVM SVM 的理论基础的理论基础??线性判别函数和判别面线性判别函数和判别面??最优分类面最优分类面??支持向量机支持向量机?? SVM SVM 的研究与应用的研究与应用信息科学技术学院信息科学技术学院· ·网络研究所网络研究所 SVM SVM 的理论基础的理论基础??传统的统计模式识别方法只有在样本趋向无穷大传统的统计模式识别方法只有在样本趋向无穷大时,其性能才有理论的保证。统计学****理论( 时,其性能才有理论的保证。统计学****理论( STL STL ) ) 研究研究有限样本情况下的机器学****问题有限样本情况下的机器学****问题。。 SVM SVM 的理的理论基础就是统计学****理论。论基础就是统计学****理论。??传统的统计模式识别方法在进行机器学****时,强传统的统计模式识别方法在进行机器学****时,强调调经验风险最小化。经验风险最小化。而而单纯的经验风险最小化会单纯的经验风险最小化会产生产生““过学****问题过学****问题””,其推广能力较差。,其推广能力较差。??推广能力推广能力是指是指: : 将学****机器将学****机器( (即预测函数即预测函数, ,或称学或称学****函数、学****模型****函数、学****模型) )对未来输出进行正确预测的能对未来输出进行正确预测的能力。力。信息科学技术学院信息科学技术学院· ·网络研究所网络研究所过学****问题过学****问题??““过学****问题过学****问题””:某些情况下,当:某些情况下,当训练误差训练误差过小反而会导致推广能力的下降过小反而会导致推广能力的下降。。??例如:对一组训练样本例如:对一组训练样本(x,y),x (x,y),x 分布在实数分布在实数范围内, 范围内, y y取值在取值在[0 [0, ,1] 1]之间。无论这些样之间。无论这些样本是由什么模型产生的,我们总可以用本是由什么模型产生的,我们总可以用 y=sin(w y=sin(w * *x) x)去拟合,使得训练误差为去拟合,使得训练误差为 0. 0. 信息科学技术学院信息科学技术学院· ·网络研究所网络研究所 SVM SVM ??根据统计学****理论,学****机器的根据统计学****理论,学****机器的实际风险由经验风实际风险由经验风险值和置信范围值两部分组成险值和置信范围值两部分组成。而基于经验风险最。而基于经验风险最小化准则的学****方法只强调了训练样本的经验风险小化准则的学****方法只强调了训练样本的经验风险最小误差,没有最小化置信范围值,因此其推广能最小误差,没有最小化置信范围值,因此其推广能力较差。力较差。?? Vapnik Vapnik 提出的支持向量机( 提出的支持向量机( Support Vector Machine, Support Vector Machine, SVM SVM )以训练误差作为优化问题的约束条件,以置)以训练误差作为优化问题的约束条件,以置信范围值最小化作为优化目标,即信范围值最小化作为优化目标,即 SVM SVM 是一种是一种基于基于结构风险最小化准则的学****方法结构风险最小化准则的学****方法,其推广能力明显,其推广能力明显优于一些传统的学****方法。优于一些传统的学****方法。??形成时期在形成时期在 1992 1992 ——1995 1995 年。年。信息科学技术学院信息科学技术学院· ·网络研究所网络研究所 SVM SVM ??由于由于 SVM SVM 的求解最后的求解最后转化成二次规划转化成二次规划问题的求问题的求解,因此解,因此 SVM SVM 的解是全局唯一的最优解的解是全局唯一的最优解?? SVM SVM 在解决在解决小样本、非线性及高维模式识别小样本、非线性及高维模式识别问题问题中表现出许多特有的优势,并能够推广应用到函中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学****问题中数拟合等其他机器学****问题中??Joachims Joachims 最近采用最近采用 SVM SVM 在在Reuters-21578 Reuters-21578 来进行来进行文本分类,并声称它比当前发表的其他方法都好文本分类,并声称它比当前发表的其他方法都好信息科学技术学院信息科学技术学院· ·网络研究所网络研究所 Outline Outline ?? SVM SVM 的理论基础的理论基础??线性判别函数和判别面线性判别函数和判别面??最优分类面最优分类面??支持向量机支持向量机?? SVM SVM 的研究与应用的研究与应用信息科学技术学院信息科学技术学院· ·网络研究所网络研究所线性判别函数和判别面线性判