文档介绍：第5章 Hopfield神经网络
前言
神经动力学
离散Hopfield神经网络
连续Hopfield神经网络

仿真实例
前言
对于所介绍的前向网络,
从学****的观点来看,它是一个强有力的学****系统,系统结构简单、易于编程;
从系统的观点来看,它是一个静态非线性映射,通过简单非线性处理单元的复合映射可获得复杂系统的非线性处理能力;
从计算的观点来看,它并不是一强有力系统,缺乏丰富的动力学行为。
反馈神经网络是一个反馈动力学系统,具有更强的计算能力。1982年J. Hopfield提出的单层全互连含有对称突触连接的反馈网络是最典型的反馈网络模型。Hopfield 用能量函数的思想形成了一种新的计算方法,阐明了神经网络与动力学的关系,并用非线性动力学的方法来研究这种神经网络的特性,建立了神经网络稳定性判据,并指出信息存储在网络中神经元之间的连接上,形成了所谓的离散Hopfield网络。
1984年,Hopfield设计与研制了Hopfield网络模型的电路,指出神经元可以用运算放大器来实现,所有神经元的连接可用电子线路来模拟,称之为连续Hopfield网络。
连续Hopfield网络成功的解决了旅行商(Traveling Salesman Problem,TSP)计算难题(优化问题)。
Hopfield网络是神经网络发展历史上的一个重要的里程碑。
神经动力学
1989年Hirsch把神经网络看成是一种非线性动力学系统,称为神经动力学(Neurodynamics)。
确定性神经动力学将神经网络作为确定性行为,在数学上用非线性微分方程的集合来描述系统的行为,方程解为确定的解。
统计性神经动力学将神经网络看成被噪声所扰动,在数学上采用随机性的非线性微分方程来描述系统的行为,方程的解用概率表示。
神经动力学
动力学系统是状态随时间变化的系统。令v1(t), v2(t), …, vN(t) 表示非线性动力学系统的状态变量,其中 t 是独立的连续时间变量,N 为系统状态变量的维数。大型的非线性动力学系统的动力特性可用下面的微分方程表示:
函数是包含自变量的非线性函数。为了表述方便可将这些状态变量表示为一个N×1维的向量,称为系统的状态向量.
可用向量形式表示系统的状态方程:

如果满足: 则称矢量为系统的稳态或平衡态。
N维向量所处的空间称为状态空间, 状态空间通常指的是欧氏空间,当然也可以是其子空间,或是类似圆、球、圆环和其他可微形式的非欧氏空间。
如果一个非线性动力系统的向量函数 F(V(t)) 隐含地依赖于时间t,则此系统称为自治系统,否则不是自治的。
稳定性和收敛性的定义:
定义1 平衡态在满足下列条件时是一致稳定的,对任意的正数,存在正数, 当。时,对所有的均有:

定义2 若平衡态是收敛的,存在正数,
满足,则当时
。
。、、、
定义
定义3 若平衡态是稳定的、收敛的,则该平衡态被称为渐进稳定。
定义4 若平衡态是稳定的,且当时间 t 趋向于无穷大时,所有的系统轨线均收敛于,则此平衡态是渐进稳定的或全局渐进稳定的。