神经网络配套.ppt

文档介绍：神经网络配套
第一页，课件共35页
BP算法的缺点
算法的收敛速度很慢
可能有多个局部极小点
BP网络的隐层神经元个数的选取尚无理论上的指导，而是根据经验选取
BP网络是一个前向网络，具有非线性映射能力，但较之非线性动力学系统，功能上有其局限性
第二页，课件共35页
BP算法的变形
启发式改进
动量
可变的学****速度
标准的数值优化
共轭梯度
牛顿法 (Levenberg-Marquardt)
第三页，课件共35页
性能曲面例子
网络结构
指定的函数
参数值
多层非线性网络与单层线性网络在均方误差性能曲面上完全不同。后者的均方误差只有一个极小点，且具有常数曲率；前者的均方误差可能有多个局部极小点而且在参数空间不同区域曲率也是变化的。
第四页，课件共35页
性能曲面例子（续）
w11,1
w21,1
w11,1
w21,1
w11,1和w21,1变化时的平方误差
第五页，课件共35页
性能曲面例子（续）
w11,1
b11
b11
w11,1
w11,1 and b11变化时的平方误差
第六页，课件共35页
性能曲面例子（续）
b11
b21
b21
b11
b11和b12变化时的平方误差
第七页，课件共35页
性能曲面例子的提示
•算法初始参数不要设置为０(参数空间的原点趋
向于鞍点)
　•算法初始参数不要设置过大(在远离优化点的位
置，性能曲面将变得十分平坦)
第八页，课件共35页
收敛性例子
w11,1
w21,1
第九页，课件共35页
学****速度太大情形
w11,1
w21,1
第十页，课件共35页