文档介绍：维普资讯
第卷第期计算技术与自动化...
年月.
文章编号::———
基于的改进神经网络的实现与比较
周黄斌,周永华,朱丽娟
广西大学电气工程学院,广西南宁
摘要:神经网络应用广泛,且算法很多,研究多种神经网络的优势与不足,以能在不同对象下选取
合适的神经网络算法。运用来实现各种神经网络的设计和训练。并以函数逼近为例,通过对
不同的神经网络仿真与原函数图像的拟合,比较不同的神经网络的性能,验证新型网络的优势,
得出如何根据对象选取神经网络的结论。
关键词:神经网络;;函数逼近
中图分类号:. 文献标识码:

—,—,—
,, ,
:,,.
.—
..
,
., .
:,;;
以神经网络为基础,包含着大量网
引言络的作用函数和算法函数,为网络的仿真研究
提供了便利的工具。众多的算法各自有各自的特
人工神经网络系统从世纪年代点,在不同情况下选用合适的算法可以达到事半功
末诞生至今仅短短半个多世纪,但由于它具有信息倍的效果。
的分布存储和并行处理以及自学习能力等优点,且
它不需要对被描述的对象建模,能够较好地描述非神经网络算法分析
线性系统和不确定性系统。因此已经在信息处理、
模式识别和智能控制及系统建模等领域得到越来. 神经网络的构造及算法
越广泛的应用。尤其是基于误差反向传播算法的一个具有个输入和一个隐含层的神经网络
多层前馈网络简称网络可以以任意精度逼结构如图所示。
近任意的连续函数。所以广泛应用于非线性建模、设其输入为,输入神经元有个,隐含层内
函数逼近、模式识别和分类等方面。近年来,为了有个神经元,激活函数为,输出层内有个
解决网络收敛速度慢,训练时间长和目标函数神经元,对应的激活函数为,输出为,目标矢
存在局部最小等缺点,提出了许多改进算法。量为。
收稿日期:一—
作者简介:周黄斌一,男,广西桂林人,硕士研究生,研究方向:模式识别与智能信息处理—: .;周永华
】一,男,广西博白人,副教授,硕士生导师,研究方向:模式识别与智能信息处理。
维普资讯
第卷第期周黄斌等:基于的改进神经网络的实现与比较
那么其信息正向的传递如下:隐含层中第个为“误差逆传播”。随着“模式顺传播”和“误差逆传
神经元的输出为: 播”过程的交替反复进行,不断调整网络的权值和
闭值,使得误差信号最小,最终使网络的实际输出
∑,
逐渐向各自所对应的期望输出逼近。
,⋯,
. 中几种典型神经网络算法比较
输出层第个神经元的输出为:
:弹性算法。它只利用导数的符

:∑, 号表示权更新的方向,而不考虑导数的大小。因此
; 可以消除偏导数的大小对权值的不利影响。这种
,,⋯,
算法具有收敛速度优势,且其占用内存小的优点。
:自适应学习速率法。自适应学习
速率法检查权重的修正值是否真正降低了误差函
数。如果确实如此,则说明选取的学习速率有上升
的空间,可以对其增加一个量。如若不是,那么就
应减小学习速率的值。因此学习速率可以根据误
,,⋯, , ⋯,
, 差性能函数进行调节,能够解决标准算法中学
,,⋯, 习速率选择不当的问题。