文档介绍：第五章随机型神经网络
随机型神经网络的基本思想
模拟退火算法
Boltzmann机与Boltzmann机工作规则
Boltzmann机学****规则
网络小结
随机型神经网络的基本思想
误差反向传播算法的基本思想:
通过对网络参数(连接权、输出阈值)的逐步调整实现网络学****的。它是在提供给网络的学****模式集合的全局误差按梯度下降的条件下达到网络记忆目的。
当学****过程进行到全局误差开始有上升的趋势时就停止了,这往往导致网络误差陷入局部极小值,而达不到全局最小点。
这种算法被形象地称为“贪心”算法,。
对于Hopfield网络,其工作规则也是使网络的能量函数朝梯度下降的力向变化,即随着网络状态的不断更新,网络能能量函数单调下降,其结果也往往是是使网络陷入局部极小值,最终得不到网络的最优解。
分析以上两种网络结构与算法的特点:导致网络学****过程陷入局部极小点的原因主要有:
①结构上: 存在着输入与输出之间的非线性函数关系,
从而使网络误差或能量函数所构成的空
间是一个含有多极点的非线性空间;
②算法上: 网络的误差或能量函数只能按单方向减
小而不能有丝毫的上升趋势。
对于第一点,是为保证、网络具有非线性映衬能力而必不可少的。
解决网络收敛问题的途径就只能从第二点入手,即不但让网络的误差或能量函数向减小的方向变化,而且,还可按某种方式向增大的方向变化,目的是使网络有可能跳出局部极小值而向全局最小点收敛。这就是随机型神经网络算法的基本思想。
模拟退火算法
模拟退火算法(Simulated Annealing Algorithm),就是模拟金属构件退火过程的一种算法。
金属或某类固体物质退火处理过程是:
先用高温将其加热熔化,使其中的粒子可以自由运动;
逐渐降低温度,粒子的自由运动趋势也逐渐减弱,并逐渐形成低能态晶格。若在凝结点附近温度下降的速度足够慢,则金属或固体物质一定会形成最低能量的基态,即最稳定结构状态。
实际上,在整个降温的过程中,各个粒子都可能经历了由高能态向低能态、有时又暂时由低能态向高能态最终趋向低能态的变化过程。
启发:
如果把神经网络的状态看作金属内部的“粒子”,把网络在各个状态下的能量函数E看作是粒子所处的能态;
在算法中设置一种控制参数T,当T较大时,网络能量由低向高变化的可能性也较大;随着T的减小,这种可能性也减小。如果把这个参数看作温度,让其由高慢慢地下降,则整个网络状态变化过程就完全模拟了金属的退火过程,
当参数了下降到一定程度时,网络将收敛于能量的最小值。
在模拟退火算法中,有两点是算法的关键:
①控制参数T;
②能量由低向高变化的可能性。
这两点必须结合起来考虑,当T大时,可能性也大, T小时,可能性也小,把“可能性”当作参数T的函数。
“可能性”用数学模型来表示就是概率。
由此可以得到模拟退火算法如下: