文档介绍：维普资讯
第卷第期计算机应用..
年月.
文苹编号:———
基于遗传算法和梯度下降的神经网络组合训练方法
姜鹏飞,蔡之华
中国地质大学武汉计算机学院,湖北武汉
.
摘要:在使用基于梯度下降的径向基函数神经网络学习方法时,由于网络目标函数误差
曲面极其复杂,因而产生了网络收敛速度慢,且容易陷入局部极小,网络初始值的设置对网络训练结
果影响很大等问题。基于遗传算法的训练方法能够摆脱陷入局部最优的困扰,但遗传算法的局部搜
索能力不够,从而影响网络的训练效果。为了解决上述问题,在研究两种算法特点的基础上,提出一
种组合训练方法,用提出的训练方法对中的部分数据集进行了仿真实验,并将实验结果与传统
方法下的结果进行了比较,实验结果表明新方法是有效的。
关键词:径向基函数神经网络;遗传算法;梯度下降
中图分类号: 文献标识码:

—.—
,,,
:,

, .
, .
, .
:;;
寻优算法。在对网络进行训练时,由于目标函数的曲面
引言
形状十分复杂,普通的方法寻找最小点容易陷入局部最优,而
径向基函数,神经网络⋯是方法具有全局的寻优能力,有能力摆脱局部最小点的困
一种特殊的三层前向神经网络。径向基函数神经网络结构简扰,但其缺点是局部寻优能力不足【。
单,具有全局的非线性逼近能力,被广泛应用于模式识别、文献中提出了普通前向神经网络中遗传算法与
函数逼近、预测等领域。结合的训练方法,是在遗传操作中引入了算子,文献
依据训练过程可以将径向基函数神经网络的训练方法大中在三层网络中使用了遗传算法与组合的训练方法。
致分为如下两类:先训练隐含层节点的函数中心向量本文在网络的训练中提出了遗传算法和梯度下降的组
和宽度,然后训练隐含层和输出层之间的连接权值。对隐合训练算法,克服了两种算法各自的缺点,发挥了两种算法的
含层节点的函数中心向量和宽度与隐含层和输出层之长处。其思想是先用遗传算法对网络进行一定代数的训练,
间的连接权值同时进行训练。依据训练过程中样本的输入方找到一个较优解,然后将此时网络参数作为梯度下降算法中
式又可以将径向基函数神经网络的训练方法分为序贯训练法的网络初始参数再进行训练。
和批处理训练法,本文中使用的基于梯度的训练方法和基于神经网络的数学描述
遗传算法的训练方法均采用的是对中心向量与隐含层
和输出层连接权值同时进行训练的批处理训练方法。图给出了一个—一//结构网络的示意图,即网
基于梯度下降的网络训练方法类似于普通前向网络有个输入,个隐层节点,个输出。
络中通常使用的算法,虽然具有较强的理论基础,但如果该神经网络被训练用来完成从维输入空间到一
网络的误差或能量函数是一个具有多极点的复杂非线形曲个维输出空间的映射。网络输入为维向量。,,⋯,
面,则依据梯度仅具有“下坡”能力的梯度下降训练方法存在,输出为//维向量。,,⋯,。为第个隐
陷入局部最优的可能,且梯度下降法训练速度慢,初始值的设节点的激活函数, 为第个隐节点的中心向量, 表示
定影响网络的训练结果。欧式范数。从图可知,输入向量,,⋯,经过隐
遗传算法,是一种新型的全局层基函数变换后的输出经加权后传