文档介绍：RVM核参数的遗传算法优化方法
李刚1, 2,邢书宝1,薛惠锋1
(,陕西西安 710072,,陕西西安 710032)
摘要:RVM (关联向量机)是一种建立在SVM(支持向量机)之上的统计学习方法,利用核函数将回归线性化,求得稀疏解,避免过拟合,核函数的参数严重影响RVM的综合性能。遗传算法是一类随机优化算法,经过迭代进化,高效率地求得问题的最优解。本文在定义RVM回归性能综合评判标准Fitness的基础上,利用遗传算法获取最优核函数参数,实验证明此法的可行。
关键词:关联向量机;核函数参数;综合评判标准;遗传算法
中图分类号:TP391 文献标识码:A
1 引言
统计学习论(Statistical Learning Theory 或SLT)是一种专门研究小样本情况下机器学习规律的理论。该理论针对小样本统计问题建立了一套新的理论体系,在这种体系下的统计推理规则不仅考虑了对渐近性能的要求,而且追求在现有有限信息的条件下得到最优结果。模式分析(pattern analysis)研究的是如何自动检测和辨识数据中潜在的关系,人们通常把这种方法称为“统计模式识别”[1]。随着人们的注意力从线性关系转移到非线性关系,20世纪80年代模式分析领域经历了一场“非线性革命”,几乎同时引入了后向传播多层神经网络算法和高效的决策树学习算法[2]。但是这些非线性算法建立在梯度下降和贪心启发式法的基础上,受到局部最小化的限制。由于没有很好地理解它们在统计上的行为,这些方法经常遇到过拟合的问题。20世纪90年代出现了SVM(支持向量机)[3]等被称为基于核(kernel-based)学习方法的模式分析方法,该方法利用核函数高效线性地分析非线性关系,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷,以期获得最好的泛化能力(Generalization Ability)。
RVM (关联向量机)是Michael (SVM)之上的稀疏贝叶斯统计学习方法[4],它的训练是在贝叶斯框架下进行的,可以用它进行回归及分类模式分析。RVM克服SVM缺点: RVM的关联向量数要少于SVM,具有更优的泛化性能;可以得到点估计及区间估计;无需多次试验找到最优的类似于C或ε的主观设置值。与SVM类似的是RVM也使用核方法,将自变量映射到高维空间,得到因变量与自变量线性回归的稀疏解,但核函数参数严重影响RVM的性能,如何方便快捷地找到综合性能最优的核函数参数目前尚无解析解理论指导,由于RVM的分类功能建立在回归的基础之上,本文尝试使用遗传算法获取回归综合性能最优的核参数数值解。
2 RVM模型
RVM的模型建立在贝叶斯框架下[5]:
设是训练中的特征值(feature),是目标值, RVM认为服从以为均值的正态分布:
式(1)中:为核函数;为模型的权值。为保证获取稀疏解,令满足0均值正态分布:.训练样本集的似然函数为:式中:;;为矩阵,其行包含所有核函数对输入的响应。根据先验概率分布和似然分布,再用贝叶斯式计算权值的后验概率分布,即:
而该权值的后验分布属于多变量高斯分布,即:
式中:为协方差,