文档介绍：第8章 Hopfield反馈神经网络
内容安排
霍普菲尔德网络模型
状态轨迹
离散型霍普菲尔德网络(DHNN)
连续型霍普菲尔德网络
反馈网络(work),又称自联想记忆网络,其目的是为了设计一个网络,储存一组平衡点,使得当给网络一组初始值时,网络通过自行运行而最终收敛到这个设计的平衡点上。
1982年,美国加州工学院物理学家霍普菲尔德()发表了一篇对人工神经网络研究颇有影响的论文。
反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点:
第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动,网络系统总可以收敛到某一个稳定的平衡状态;
第二,系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。
霍普菲尔德网络是单层对称全反馈网络,根据其激活函数的选取不同,可分为离散型的霍普菲尔德网络(Discrete Hopfield work,简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield work,简称CHNN)。
DHNN的激活函数为二值型的,其输入、输出为{0,1}的反馈网络,主要用于联想记忆。
CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数,主要用于优化计算。
霍普菲尔德网络模型
反馈网络结构图
在反馈网络中,如果其激活函数f(·)是一个二值型的硬函数,,即ai=sgn(ni),i=l, 2, … r,则称此网络为离散型反馈网络;
如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络。,它满足连续单调上升的有界函数的条件,常作为连续型的激活函数。
CHNN中的激活函数
状态轨迹
设状态矢量N=[n1, n2, …,nr],网络的输出矢量为A=[a1,a2…,as]T ,
在一个r维状态空间上,可以用一条轨迹来描述状态变化情况。
从初始值N(t0)出发,N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt),这些在空间上的点组成的确定轨迹,是演化过程中所有可能状态的集合,我们称这个状态空间为相空间。
三维空间中的状态轨迹
对于DHNN,因为N(t)中每个值只可能为±1,或{0,1},对于确定的权值wij,其轨迹是跳跃的阶梯式,如图中A所示。
对于CHNN,因为f(·)是连续的,因而,其轨迹也是连续的,如图中B、C所示。