文档介绍：燕山大学
硕士学位论文
基于遗传算法的前馈神经网络优化设计
姓名:康建红
申请学位级别:硕士
专业:计算机软件与理论
指导教师:叶德谦
20050301
摘要算法——,—惴ḿ氨曜家糯惴ń惺笛槎员龋贸鲆近年来用遗传算法解决神经网络的优化设计问题受到广泛重视。本文将就这一课题进行进一步地研究和探索,在改善遗传算法早熟收敛现象的同时,充分利用遗传算法的全局搜索特性,达到对前馈神经网络最优化设为此,本文选择适用性强的三层前馈神经网络作为优化设计对象,提出了一种具有综合控制策略的遗传算法,同时考虑编码方案、适应度函数主体,同时考虑网络结构对神经网络泛化性能的影响;Vこ跏贾秩旱亩嘌约熬确植夹裕阂徊糠指鎏宓娜ㄖ涤昧憔的正态随机向量表示,另一部分个体用权值选择范围内的随机向量表示;杓撇⒏慕耸视糜谑凳嗦胍糯惴ǖ慕阕樱苊庠缡焓樟例子来验证用本文算法优化设计前馈神经网络的高效性,通过与改进的下结论:该算法能快速有效地确定神经网络的结构及权值,并且训练后的神经网络具有较好的泛化能力。关键词遗传算法;早熟收敛:多层前馈神经网络;同时优化设计:综合控设计、初始群体的设定和遗传操作等各环节对遗传算法收敛性能的影响,形成更高效的神经网络训练算法。≡袷凳嗦敕绞剑醵谈鎏灞嗦氲某ざ龋缃峁辜叭ㄖ低杓颇苷繁硐稚窬缧阅艿氖视Χ群阂匝镜谋平ǘ任现象的发生。将以上算法思想在环境中实现,并用一个非线性函数逼近的计的目的。进行编码;制策略:
—,燕山大学工学硕学位论文.,;·瑂瑆瑂,疭’痵痸:,.琣Ⅱ
;籱猯;;;
∩窬缭谘爸杏龅降睦神经网络是一个由大量简单的处理单元广泛连接组成的非线性系统,应学习能力和并行信息处理能力。对它的研究始于世纪年代,其间经历了一个曲折缓慢的发展过程,直到世纪年代,,以及妊д得了飞速发展,在美国、曰本等一些工业发达的国家里,掀起了一股竞相领域,如在智能控制、模式识别、自适应滤波和信号处理、传感技术和机器人、非线性优化、知识处理、生物医学工程、金融预测和管理等方面都取得了令人鼓舞的成果。近十年来,神经网络的发展状况表明,这是一项有着广泛的应用前景的新型学科,它的发展对目前和未来的科学技术水平的提高将有重要的影响。到目前为止,人们已经提出了上百种神经网络模型,学习算法更是层出不穷。但是,从神经网络的应用价值来看,研究最多的只有十几种,而这些网络从结构上也仅可分为多层前馈神经网络和动态递归网络两种。其中,对多层前馈神经网络的研究最为广泛和深入。的网络:既具有对样本数据的高度拟合性,又要对新的数据具有较好的泛用来模拟人脑神经系统的结构和功能,具有良好的非线性映射能力、自适提出反向传播虺艬学习算法,神经网络的研究才获研究、开发神经网络的热潮。目前,对神经网络理论的应用已渗透到多个在用多层前馈神经网络解决问题时,常常要求使用一个具有良好性能
算法,如牛顿法、拟牛顿法、共轭梯度法等二阶学习算法【¨】,其特点是在化能力。在训练样本已确定的前提下,这些性能主要取决于网络的拓扑结构及网络学习后的连接权值。因此,如何设计合理的网络结构和高效的权值学习算法成为神经网络有效地应用于求解实际问题的关键⋯,也是近年来国际上研究的热点。长期以来,神经网络的结构凭经验而定,为保障样本逼近精度,往往采用偏向于冗余的结构,这将造成:第一,网络训练所需的时间加长,增加以训练,因而使得网络极易具有病态,表现为对训练样本具有较高的拟结构过于简单时,由于其只具有有限的处理能力而无法胜任问题的求解。的,但是,生长法中网络的性能评价函数难于设计,修剪法中删除多余的神经元及权值的策略所采用的惩罚项的形式都是很难设计的。另外,因为一开始就要给出一个足够复杂的网络结构,这大大增加了搜索空间的复杂性,使得学习速度变得更慢,学习效率也变得更低,同时对学习算法的要用于训练神经网络权值的反向传播学习理论最早由在年提出,并由仍攴⒄刮狟惴āF浔局适怯τ梅窍咝规划方法中的最速下降法修正网络权值,使学习误差达到最小二乘意义下最小。由于误差曲面在权值空间的高度复杂性,使得神经网络权值学习成为一个一完全问题,因此算法不可避免地具有局限性。为了克服算法的局陷,人们提出许多改进措施,比如:在权值调整公式中加入动量项,这种方法在加速收敛的同时,抑制了振荡翰捎米允视ρ八俾实姆法使其满足误差曲面的所有部分换箍梢允褂闷渌慕奶荻扔呕加了学习算法在训练速度上的负担,不利于网络的在线适应性,实时性能差;第二,训练所得的网络对样本的高度拟合性很可能是冗余节点存在的结果:当训练样本数据存在噪声时,带有冗余节点的网络会连同噪声一同合精度,而对样本之外的数据逼近精度差,网络的泛化能力弱。而当网络所以,应当科学地确定网络结