文档介绍：神经网络 第四章
第1页，本讲稿共172页
Hopfield神经网络
和1984年分别提出了两种神经网络模型，简称
HNN。
离散的随机模型****算法总是收敛的。
(1) 网络的连接权矩阵无自连接且具有对称性，即
这一假设条件虽然不符合生物神经网络的实际情况(生物神经元之间连接强度通常是不对称的)。但是却与磁场中各磁旋的相互作用情况相一致。
第18页，本讲稿共172页
（2）网络中各神经元以非同步或串行方式，依据
运行规则改变其状态，即各神经元按随机选
取方式，依据运行规则改变状态；且当某个
神经元改变状态时．其它所有神经元保持原
状态不变。
这一点符合生物神经网络的情况。
第19页，本讲稿共172页
(1)串行(异步)方式：
任一时刻只有一个单元改变状态，其余单元不
变(动作顺序可以随机选择或按某种确定顺序选
择)。
(2)并行(同步)方式：
某一时刻所有神经元同时改变状态(常称这种工
作方式的网络为Litt1e模型)。
第20页，本讲稿共172页
Hopfield网络运行规则
神经网络主要有两种运行方式：
一种是前面介绍过的学****运行方式，即通过对训练模式的学****调整连接权达到模式记忆的目的；
另一种就是下面将要介绍的工作运行方式。在这种运行方式中，各连接权值是固定的，只是通过按一定规则的计算，更新网络的状态，以求达到网络的稳定状态。
第21页，本讲稿共172页
图是Hopfield网络中某个神经元的结构图。设网络由n个这样的神经元构成。时刻t第i个神经元的输出为：
第22页，本讲稿共172页
上式表明：当所有其它神经元输出的加权总和超过第i个神经元的输出阈值时，此神经元被“激活”、否则将受到”抑制”。
这里特别应该注意的是，改变状态的神经元ui，并不是按顺序进行的，而是按随机的方式选取的。
第23页，本讲稿共172页
下面将Hopfield工作运行规则总结如下：
(1)从网络中随机选取一个神经元ui；
(2)求所选中的神经元ui的所有输入的加权总和；
(3)计算ui的第t+1时刻的输出值，即
第24页，本讲稿共172页
(4)ui以外的所有神经元输出保持不变
(5)返回到第一步，直至网络进如稳定状态。
第25页，本讲稿共172页
Hopfield网络是一种具有反馈性质的网络，而反馈网络的一个重要特点就是它具有稳定状态，也称为吸引子。那么Hopfield网络的稳定状态是怎样的呢?
当网络结构满足前面所指出的两个条件时，按上述工作运行规则反复更新状态，当更新进行到一定程度之后，我们会发现无论再怎样更新下去，网络各神经元的输出状态不再改变，这就是Hopfield网络的稳定状态。
第26页，本讲稿共172页
用数学表示为
一般情况下，一个Hopfield网络必须经过多次反复更新才能达到稳定状态。
第27页，本讲稿共172页
网络计算能量函数与网络收敛
从Hopfoeld网络工作运行规则可以看出，网络中某个神经元t时刻的输出状态，通过其它神经元间接地与自己的t-1时刻的输出状态发生联系。
这一特性从数学的观点看，网络的状态变化可用差分方程表征；
第28页，本讲稿共172页
从系统动力学的观点看，此时的网络已不象误差反向传播那样只是非线性映射的网络，而是一个反馈动力学系统。
准确地说．是一个多输入、多输出、带阈值的二态非线性动力学系统。
第29页，本讲稿共172页
一个抽象的动力学系统，与一个具有实际物理意义的动力学系统比较，抽象系统的动态过程必定是使某个与实际系统形式上一致的“能量函数”减小的过程。
Hopfie1d网络也同样如此。在满足一定的参数条件下，某种“能量函数”的能量在网络运行过程中不断地降低．最后趋于稳定的平衡状态。
第30页，本讲稿共172页
设t时刻网络的状态用n个神经元的输出向量U(t)表示：
设每个神经元只有“1”或“0”两种状态，所以n个神经元共有2n个组合状态，即网络具有2n 种状态。
从几何学的角度看，这2n 种状态正好对应一个n维超立方体的各个顶点。
以n＝3为例，一个立方体的八个顶点正好对应网络的八种状态。如图
第31页，本讲稿共172页
第32页，本讲稿共172页
网络的能量函数可定义为网络状态的二次函数：
上式的能量函数巳不是物理学意义上的能量函数，而是在表达形式上与物理意义上的能量概