支持向量机加速训练算法研究.pdf

文档介绍：HEBEI UNIVERSITY


密 级：
分 类 号：
学校代码：10075
学 号：20070864

硕士学位论文



支持向量机加速训练算法研究





学 位 申 请 人 ：张莹
指 导 教 师 ：王熙照 教授
学 位 类 别 ：理学硕士
学 科 专 业 ：应用数学
授 予 单 位 ：河北大学
答 辩 日 期 ：二○一○年五月
Classified Index: CODE: 10075
: NO: 20070864




A Dissertation for the Degree of M. Science



Research on Support Vector Machine
Accelerated Training Algorithm












Candidate: Zhang Ying
Supervisor: Prof. Wang Xizhao
Academic Degree Applied for: Master of Science
Specialty: Applied Mathematics
University: Hebei University
Date of Oral Examination: May, 2010
摘 要
摘 要
支持向量机(SVM)是由 Vapnik 与其合作者提出的，它是基于统计学****理论的一门
新兴学科，是统计学****理论的 VC 维理论和结构风险最小化理论的具体实现。SVM 主
要解决小样本问题，在模型的复杂度和学****能力之间寻求最佳折衷，目的在于获得最好
的泛化能力。SVM 算法成功应用于很多领域，但是在实际应用中也显现出一些缺点，
如计算量大，速度慢，依赖经验选择参数等，其中速度问题在很大程度上限制了 SVM
的应用，成为 SVM 方法在大规模实用中受到限制。因此在保证分类精度变化不大的情
况下，加快支持向量机的训练速度对 SVM 学****的研究具有重要的理论意义和使用价值。
本文主要的研究工作是：针对支持向量机训练速度慢的问题，在现有支持向量机加
速训练算法的基础上，寻找一种新的 SVM 加速训练算法。SVM 训练速度慢的主要原因
是大量的非支持向量参与训练过程，从而进行了大量的二次规划计算，导致分类计算量
大、分类速度慢。基于此理论，在本篇文章中，我们首先提出了一种算法：一种基于
KKT 条件的 SVM 分块训练算法，它通过分块训练来减小二次规划问题的规模，并利用
KKT 条件来保留可能的支持向量集，从而保证了在分类精度变化不大的情况下，加快
了 SVM 的训练速度。基于此算法，我们又提出了一种加速算法：一种基于 KKT 条件
的