文档介绍：内容
SVM概述
结构风险最小化
线性SVM
SVM求解
处理线性不可分问题
SVM训练算法
第1页/共48页
概述：支持向量机发展历史
1963年，Vapnik在解决模式识别问题时提出了支持向量方法。起决定性作用的样本为支持向量
1971年，Kimeldorf构造基于支持向量构建核空间的方法
1992年，Vapnik等人开始对支持向量机进行研究。
1995年，Vapnik等人正式提出统计学****理论。
第2页/共48页
概述
通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学****策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。
上个世纪90年代，支持向量机获得全面发展，在实际应用中，获得比较满意的效果，成为机器学****领域的标准工具
第3页/共48页
常用的机器学****方法比较
概率分布的方法（经典的方法）
Bayes方法, GMMs 用于复杂分布建模
决策树的方法（）
属性具有明确含义时使用，一种经典的方法
近邻分类
简单的方法，如果样本有代表性，维数不高时好用
支撑向量机
高维空间的小样本学****br/>Boosting算法
大量训练样本下可以取得好的效果，速度很快
人工神经网络ANN
大量训练样本下可以取得好的效果，速度较慢
第4页/共48页
SVM案例：手写体数字识别例子
贝尔实验室对美国邮政手写数字库进行的实验
该数据共包含7291个训练样本，2007个测试数据，输入数据的维数为16x16维
分类器/学****方法
错误率
人工表现
%

%
三层神经网络
%
SVM
%
DeepLearning
<%
第5页/共48页
SVM案例：石脑油预测
第6页/共48页
SVM案例：目标检测
弱监督的多形态的高清航拍图像目标检测识别
第7页/共48页
内容
SVM概述
结构风险最小化
线性SVM
SVM求解
处理线性不可分问题
SVM训练算法
第8页/共48页
VC维与经验风险
分类问题图示：过拟合与欠拟合
underfitting
欠拟合
Overfitting
过拟合
good fit
较好的拟合
问题: 小的经验风险并不意味着期望风险R小.
第9页/共48页
结构风险最小化
实际风险（测试误差）: Risk
经验风险（训练误差）：Empirical risk
结构风险的界：以概率
VC dimension
VC confidence
证明：在PAC理论部分
第10页/共48页