反向传播算法.doc

文档介绍：神经元j在迭代n时(即呈现第n个训练例子)输出误差信号定义如下:e(n)=d(n)-y(n)神经元j是输出节点()我们将神经元j的误差能量瞬间定义为(1/2)e(n)。相应的,整个误差能量的瞬间值即为输出层的所以神经元的误差能量瞬间值的和;这些只是那些误差信号可被直接计算的“可见”神经元。因此,的计算公式是=()集合C包括网络输出层的所以神经元。令N记为包含在训练集中模式(例子)的总数。对所有n求的和然后关于集的大小规整化即得的均方误差能量,表示为 = ()误差能量的瞬间值和误差能量的平均值是网络所有自由参数(即突触权值和偏置水平)的函数。对下一个给定的训练集,表示的代价函数作为学****性能的一个度量。学****过程的目的是调整网络的自由参数使得最小化。要达到这种最小化,我们使用第3章推导LMS算法所用原理相似的一个逼近。特别地,我们考虑一个训练的简单方法,即权值在一个模式接一个模式的基础更新,知道一个回合(epoch)结束,也就是整个训练集的完全表示已被网络处理。权值的调整根据每个呈现给网络的模式所计算的各自的误差进行。因此,这些单个权值在训练集上的改变的算术平均,是基于使整个训练集的代价函数最小化的真实权值改变的一种估计。然后考虑图4-3,它描绘神经元j被它左边的一层神经元产生的一组函数信号所馈给。因此,在神经元j的激活函数输入处产生的诱导局部域是()图4-3显示输出神经元j细节的信号流图这里m是作用于神经元j的所有输入(不包括偏置)个数。突触权值(相应于固定输入)等于神经元j的偏置。所以迭代n时出现在神经元j输出处的函数信号是()反向传播算法以与LMS算法类似的方式对突触权值应用一个修正值,它正比于对的偏导数。根据微分的链式规则,可以将这个梯度表示为()偏导数代表一个敏感因子,决定突触权值在权值空间的搜索方向。在式()两边对取微分,我们得到()在式()两边对取微分,得到()接着,在式()两边对取微分,得到()最后,在式()两边对取微分,得到()将式()至()代入式(),得到()应用于的修正由delta法则定义为()其中是反向传播算法的学****率参数。式()中负号的使用意味着在权空间中梯度下降(即寻找一个使得值下降的权值改变的方向)。于是将()代入()中得到()这里局域梯度定义为()局域梯度指明突触权值所需要的变化。根据(),输出神经元j的局域梯度等于该神经元相应误差信号和相应激活函数的导数的乘机。辅程恢颂臂俩薪渐掂谓绣涂好亿也稻矢戒锈摆股涎孪县办表曝蔽借拂台丘毛乐舟顾拾才