文档介绍：人工神经网络及其应用第5讲 Hopfield网络
何建华
电信系,华中科技大学
2003年3月3日
1
一、反馈网络
二、Hopfield网络简介
三、DHNN网络
四、稳定性与应用
五、内容小结
内容安排
2
反馈网络如何通过网络神经元状态的变迁而最终稳定于平衡状态,得到联想存储或优化计算的结果
关心网络的稳定性问题
研究重点为怎样得到和利用稳定的反馈网络
要点
3
反馈网络简介
网络稳定性
一、反馈网络
4
反馈网络简介
反馈网络(work),又称自联想记忆网络
其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。
反馈网络能表现出非线性动力学系统动态特性
网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态;
系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中
5
反馈网络简介
反馈网络分类
如果激活函数f(·)是一个二值型的硬函数,即ai=sgn(ni),i=l, 2, … r,则称此网络为离散型反馈网络;
如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络
6
网络稳定性
状态轨迹
设状态矢量N=[n1, n2, …,nr],网络的输出矢量为A=[a1,a2…,as]T
在一个r维状态空间上,可以用一条轨迹来描述状态变化情况
从初始值N(t0)出发,N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),这些在空间上的点组成的确定轨迹,是演化过程中所有可能状态的集合,我们称这个状态空间为相空间
7
网络稳定性
状态轨迹
离散与连续轨迹
8
网络稳定性
状态轨迹分类:对于不同的连接权值wij和输入Pj(i, j=1, 2, … r),反馈网络可能出现不同性质的状态轨迹
轨迹为稳定点
轨迹为极限环
轨迹为混沌现象
轨迹发散
9
网络稳定性
稳定轨迹
状态轨迹从系统在t0时状态的初值N(t0)开始,经过一定的时间t(t>0)后,到达N(t0+t)。如果N(t0+t+Δt)=N(t0+t),Δt>0,则状态N(t0+t)称为网络的稳定点,或平衡点
反馈网络从任一初始态P(0)开始运动,若存在某一有限时刻t,从t以后的网络状态不再发生变化(P(t+Δt)= P(t),Δt>0)则称网络是稳定的
处于稳定时的网络状态叫做稳定状态,又称为定吸引子
10