神经网络配套.pptx

文档介绍：BP算法的变形
启发式改进
动量
可变的学****速度
标准的数值优化
共轭梯度
牛顿法 (Levenberg-Marquardt)
性能曲面例子
网络结构
指定的函数
参数值
多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者的均方误差只有一个极小点，且具有常数曲率；前者的均方误差可能有多个局部极小点而且在参数空间不同区域曲率也是变化的。
性能曲面例子（续）
w11,1
w21,1
w11,1
w21,1
w11,1和w21,1变化时的平方误差
性能曲面例子（续）
w11,1
b11
b11
w11,1
w11,1 and b11变化时的平方误差
性能曲面例子（续）
b11
b21
b21
b11
b11和b12变化时的平方误差
性能曲面例子的提示
•算法初始参数不要设置为０(参数空间的原点趋
向于鞍点)
　•算法初始参数不要设置过大(在远离优化点的位
置，性能曲面将变得十分平坦)
收敛性例子
w11,1
w21,1
学****速度太大情形
w11,1
w21,1
提高收敛速度
•改变学****速度
　　在曲面平坦时增加学****速度，在斜速率增加时减
　　少学****速度。
•平滑轨迹：
　　当算法开始振荡时，平滑掉振荡以产生一个稳定
　　的轨迹。
动量方法
滤波器
例子