文档介绍：杭州电子科技大学
硕士学位论文
基于粒子群优化算法的支持向量机集成学****方法研究
姓名:陈建胜
申请学位级别:硕士
专业:计算机应用技术
指导教师:方景龙
20091201
杭州电子科技大学硕士学位论文
摘要
支持向量机(Support Vector Machine,SVM)是近年来受到广泛关注的一类学****机器,
它以统计学****理论为基础,具有全局最优、适应性强、推广能力强等优点,已成功应用于模
式识别、回归估计及概率密度估计等众多领域。在 SVM 的学****训练过程中,几乎所有研究都
以单个 SVM 作为训练机,关于 SVM 的多学****器学****方法研究甚少。集成学****通过训练多个学<br****器并将其结果进行合成,可以显著提高学****系统的泛化能力。将集成学****技术引入到 SVM
学****中,可以更好地提高 SVM 的泛化能力。因此,基于集成学****的 SVM 学****方法研究成为目
前 SVM 研究中的一个重要方向。
本文对分类 SVM 集成学****方法进行了系统的研究,介绍了分类 SVM 的概念和原理。对于
集成学****技术的理论分析、实现方法的设计和实际应用进行了系统的研究分析,分析了它们
的产生背景。介绍了在集成学****中的分类问题以及两种主要的集成学****方法 Bagging 和
Boosting。比较了 Bagging 和 Boosting 的优缺点,考察了它们的生效机制。分析了选择性集
成的原理和产生背景,并介绍了一种经典的选择性集成方法 GASEN。同时完成了以下研究工
作:
(1)提出了两种分类 SVM 集成学****方法:基于 Bagging 的分类 SVM 集成学****方法
Bagging_SVM 和基于 AdaBoost 的分类 SVM 集成学****方法 AdaBoost_SVM。
(2)针对选择性集成的实现复杂度过高问题,借鉴群体智能方法,提出了基于粒子群优
化算法的选择性集成算法 PSOSEN,将粒子群优化算法引入到选择性集成中,利用高速收敛的
粒子群来选择差异大精度高的个体分类器,建立最优的集成模型。利用 UCI 数据库对 PSOSEN
进行了实验测试,实验结果表明该方法优于 Boosting 和 Bagging 方法,在准确率、时间效率
和集成规模三个方面都取得了显著提高,可以成为一种高效的选择性集成的实现方法。
(3)针对粒子群优化算法容易陷入局部最优解的问题,提出了一种改进的粒子群优化算
法,并将改进后的粒子群优化算法应用在分类 SVM 选择性集成上,提出了基于改进粒子群优
化算法的选择性集成算法 APSOSEN。利用 UCI 数据库对 APSOSEN 进行了实验测试,实验结果
表明该方法可以有效地解决 PSOSEN 的局部最优问题,并在准确率、收敛性和集成规模三个方
面都得到了提高,可以成为一种更高效的选择性集成的实现方法。
本文对分类 SVM 集成学****方法和选择性集成学****方法进行了初步的研究与探索,作为 SVM
研究中的一个新问题,本文的研究成果具有重要的意义。

关键词:SVM,集成学****选择性集成学****分类,粒子群优化算法
I
杭州电子科技大学硕士学位论文
ABSTRACT
Support vector machine(SVM) is one type of learning machines that is paid wide attention in
recent years. Based on statistical learning theory, SVM possesses many merits such as global
optimum, well-adapted and excellent generalization performance, so it has been widely applied in
the fields such as pattern recognition, regression estimation and density estimation. Generally,
almost all researches use single SVM as learner, and multi-SVM learner methods are scarce thought
out. Ensemble learning can significantly improve the generalization ability of learning systems
through training multiple learning machine and synthesiz