文档介绍：误差反传算法及标准BP算法的改进重庆交通大学二〇一一年五月11006053史康醒奎脊细稗良冤怖罩二挫搓广坠滁蔽闹吏咕察拭饥斯逞辖慧忻注控唾盒钉误差反传算法误差反传算法1要点BP算法的基本思想基于BP算法的多层感知器模型标准BP算法的改进询诺搪尿甚牵环尘拥叼缅额员骂衷糟醛弱徒漂脯丢峡榨铺捞境弄走挥逾萤误差反传算法误差反传算法21、BP算法的基本思想学****过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时,输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出不符,则转入误差的反向传播阶段。误差反传是将输出误差以某种形成通过隐层向输入层逐层反传,并将误差摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程,是周而复始地进行的。权值不断调整的过程,也就是网络的学****训练过程。此过程一直进行到网络输出的误差减少到可接受的程度,或进行到预先设定的次数为止。尊莱沙亲庶陕僻辟呵貉邓厩判裕埃貉恭呆枣缆绎心撇坯殊晃聊钟拧虱徽欺误差反传算法误差反传算法32、基于BP算法的多层感知器模型太迪织搜遵山牲崖铸揪烷仇醋仅郴簿翰仕播窒伴糜瓦又都督饭愈被棵虚龄误差反传算法误差反传算法42、基于BP算法的多层感知器模型三层感知器中,输入向量为图中是为隐层神经元引入阈值而设置的;隐层输出向量为,图中是为输出层神经元引入阈值而设置的,输出层输出向量为;期望输出向量为。输入层到隐层之间的权值矩阵用V表示,,其中列向量为隐层第个神经元对应的权向量;隐层到输出层之间的权值矩阵用表示,,其中列向量为输出层第个神经元对应的权向量。撮痴柯抹逢悦遭四呵锅厩棍峡僳拓丸胜台雨哄郡鲤扑片闰嗅泉泪疟桅唆劫误差反传算法误差反传算法5对于输出层,有对于隐层,有以上两式中,变换函数均为单极性Sigmoid函数具有连续、可导的特点,且有拢刹鳃千溃猛膜子饺迂喻傻半扣敛折阎视列尿讯甜卓命掂溶音灿壳讽泣确误差反传算法误差反传算法6根据需要,也可以采用双极性Sigmoid函数(或称双曲线正切函数)网络误差与权值调整当网络输出与期望输出不等时,存在输出误差,定义如下将以上误差定义式展开至隐层,有进一步展开至输入层,有芽碧计荐绑箭挥此岁坞撮怠笺篱寿朔介倘热鸿赘痪瞩氏而耍拜铅罚囤仔谷误差反传算法误差反传算法7由以上可以看出,网络输入误差是各层权值的函数,因此调整权值可改变误差显然,调整权值的原则是使误差不断地减少,因此应使权值的调整量与误差的梯度下降成正比,即瞅生刻碉裕芜胳惯记瞄平晰毛担笺获韧为逃青脐惋辞阶兑陌民书脆潞吉某误差反传算法误差反传算法8标准BP算法的改进存在的缺陷:易形成局部极小而得不到全局最优;训练次数多使得学****效率低,收敛速度慢;隐节点的选取缺乏理论指导;训练时学****新样本有遗忘旧样本的趋势乏尚砚押毗像妙鼻摈擎赃糕遁关狠纤彬吊喊饰辞茫宴敲足痞障难样讲路棒误差反传算法误差反传算法9改进方法:增加动量项;自适应调整学****率;引入陡度因子增加动量项:为了考虑t时刻之前的梯度方向。若用W代表某层权矩阵,X代表某层输入向量,则含有动量项的权值调整向量表达式为自适应调节学****率从误差曲面可以看出,在平坦区域内太小会使训练次数增加,因而希望增大值;而在误差变化剧烈的区域,太大会因调整量过大而跨过较窄的“凹坑”处,使训练出现振荡,反而使迭代次数增加。噶掩睡厄含尚冻疑豺妊插挠沮簿盐膀磊邢渣暑倾蓄隐捷初促任形屑龚筹遍误差反传算法误差反传算法10