文档介绍：基于支持向量机的曲线重建方法|第1内容加载中... 曲线重建问题其实质就是函数拟合逼近问题,采用神经网络方法来解决是目前研究比较多的一个问题,利用样本数据(xi,yi),i=1,2,…,m对神经元进行训练,模拟输入输出数据的内部关系,进而拟合出样本点的函数关系。这种方法在数据受到干扰时显得尤其重要,目前通常采用的神经网络学习算法有传统的BP算法[1],但BP算法存在着局部极小以及收敛速度慢等缺点,因此又有了对BP算法的改进算法,目前研究比较多的是正交网络模型算法。本文提出采用支持向量机(SVM)学习算法进行求解。SVM算法是Vapnick等人根据统计学习理论(SLT)提出的一种新的学习方法[2,3],它根据结构风险最小化原则,尽量提高学习机的泛化能力,即由有限的训练集样本得到小的误差能够保证对独立的测试集仍保持小的误差,而且它是一个凸二次优化问题,能保证找到的极值解就是全局最优解。这些特点使支持向量机方法成为一种优秀的学习算法,能够较好地解决基于神经网络的机器学习难以解决的问题。1 线性SVM算法[4,5] 支持向量机函数拟合首先考虑用线性回归函数 500)(this)">式中,ξ,ξ*是松弛因子,当划分有误差时,ξ,ξ*i都大于0,误差不存在取0。这时,该问题转化为求优化目标函数最小化问题 500)(this)">式(2)中第一项使拟合函数更为平坦,从而提高泛化能力;第二项为减小误差;常数C>0表示对超出误差ε的样本的惩罚程度。求解式(1)、(2)可看出,这是一个凸二次优化问题,所以引入Lagrange函数 500)(this)"> 500)(this)"> 500)(this)">其约束条件为 500)(this)"> 500)(this)"> 非线性SVM算法非线性SVM的基本思想是通过事先确定的非线性映射将输入向量映射到一个高维特征空间(Hilbert空间)中,然后在此高维空间中再进行线性回归,从而取得在原空间非线性回归的效果[6]。首先将输入量x通过映射Φ∶Rn→H映射到高维特征空间H中用函数f(x)=ouseg(this)"> 式(7)中涉及到高维特征空间点积运算Φ(xi).Φ(xj),而且函数Φ是未知的、高维的。支持向量机理论只考虑高维特征空间的点积运算K(xi,xj)=Φ(xi).Φ(xj),而不直接使用函数Φ。称K(xi,xj)为核函数,核函数的选取应使其为高维特征空间的一个点积,常用的核函数有[7] 500)(this)"> (4)二层神经网络(Sigmoid)核函数:K(x,xi)=tanh[-δ]。因此式(7)变成 500)(this)"> SVM网络模型用支持向量机求得的拟合函数形式上类似于一个神经网络,其输出是若干中间节点的线性组合,而每一个中间层节点对应于输入样本与一个支持向量的点积,如图1所示。500)