文档介绍：上海交通大学
博士学位论文
支持向量机理论、方法和应用研究
姓名:阎威武
申请学位级别:博士
专业:控制理论与控制工程
指导教师:邵惠鹤
20030201
支持向量机理论、方法和应用研究*
摘要
传统的统计学研究的是样本无穷大时的渐进理论。然而在实际的问题中,样本数
往往是有限的。现有的基于传统统计学的学习方法在有限样本的情况下难以取得理想
的效果。统计学习理论是在有限样本情况下新建立起来的统计学理论体系。统计学习
理论为人们系统地研究小样本情况下机器学习问题提供了有力的理论基础。支持向量
机是在该理论体系下产生的一种新的、非常有力的机器学习新方法。它较好地解决了
以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题,
具有很强的泛化能力。目前,统计学习理论和支持向量机作为小样本学习的最佳理论,
开始受到越来越广泛的重视,正在成为人工智能和机器学习领域新的研究热点。
本文从支持向量机理论、方法和应用相结合的角度出发,在支持向量机算法、模
型选择和应用等方面进行了系统地研究,本文的主要工作和贡献包括以下内容:
。分析了贝叶斯框架下基于数据的机器学习问
题。结合非线性支持向量机估计算法,提出了贝叶斯框架下的标准支持向量机估计算
法和最小二乘支持向量机估计算法,在贝叶斯框架下进行支持向量机估计算法的参数
调整和最优模型选择。在此基础上,提出了贝叶斯框架下支持向量机估计算法的建模
方法,并应用于非线性系统辨识,得到了十分有效的结果。
、非线性及要求模型泛化能力强等特点,将支持向量
机估计算法应用于软测量建模,提出了基于支持向量机的软测量建模方法。它主要包
括基于贝叶斯框架下的支持向量机软测量建模方法和基于交叉验证下的支持向量机软
测量建模方法。将基于支持向量机的软测量建模方法应用于工业过程中的催化裂化生
产过程的主分馏装置,进行轻柴油的凝固点估计。另外,根据时变系统的建模特性,
将滚动优化的思想与支持向量机建模相结合,提出了基于滚动时间窗的最小二乘支持
向量机在线软测量建模方法。
。在基于贝叶斯框架下标准支持向量机分类算
法的基础上,统一提出了贝叶斯框架下标准支持向量机分类算法和最小二乘支持向量
* 国家十五 863 项目, 编号:2001 AA413130
I
机分类算法,在贝叶斯框架下进行支持向量机分类算法的最优正规化参数和核参数的
选择。在此基础上,提出了贝叶斯框架下支持向量机分类算法的建模方法,并应用于
工业过程故障诊断和心脏病诊断。针对多类分类问题,提出了一种贝叶斯框架下的最
小二乘支持向量机多类分类算法。
。从支持决策系统体系结构的角度
出发,提出了两类基于支持向量机的并行决策模型,并将它们应用于分布式的故障诊
断中。接着提出了一种多支持向量机决策模型,该方法提高了决策系统的鲁棒性。
、核的性质及核的分类,分析了一种非监督核学习方法,即核
主元分析。针对主元分析在非线性数据协调中的缺点,提出了一种基于核主元分析的
非线性数据协调新方法,并应用于三组分精馏过程的成分协调。针对非线性故障诊断
过程,提出了一种基于核主元分析的非线性故障诊断的方法,并通过实验研究说明了
新方法的有效性。
关键词:统计学习理论,支持向量机,贝叶斯理论,模型选择,分类,回归估计,建
模,软测量,诊断,支持决策系统,核学习,核主元分析
II
STUDY OF SUPPORT VECTOR MACHINES THEORY,
ALGORITHM AND APPLICATION
ABSTRACT
Traditional statistical theory aims at the asymptotic theory when sample size is tend to
infinity. However, in many practical cases, samples are limited. Most of existing methods
based on traditional statistical theory may not work well for the situation of limited samples.
Statistical Learning Theory (SLT) is a new statistical theory framework established