文档介绍：无监督学习神经元网络
●竞争学习和Kohonen自组织网络
竞争学习根据输入模式来更新权值,输入单元i与所有输出单元j 用wij 连接。输入的数目即为输入的维数,输出的数目即为输入数据要聚类的数目。
具有最大激励单元k(获胜单元) 更新权值,其它不变。
举例:
训练模式:
化成极坐标形式:
归一化的初始权值为:
设,输入x1后,权值变化为:
第一个神经元为胜者,w1(0) 更接近于x1,按此方式迭代,直到平衡.
最终向量
● Hopfield网络
:连续和离散
特点: 1)(或全连接),所有神经元与其它单元相连,
但,无自连接;
2)按内容编址存贮器方式进行操作,新提供的输入模式
可自动找到已存贮的合适模式.
工作原理
Hopfield网络可以看成是一个动态系统,其相空间包含代表系统
基本存贮内容的固定(稳定)点的集合.
Hopfield网络可以检索信息,以一定的误差恢复信息.
对于具有N个神经元的网络,其状态可以用向量S来确定:
S是N位二进制信息,满足以下条件:
1)时间t趋近无限,允许回归网络达到稳态;
2)在非线性函数的原点,斜率无穷大,具有硬限幅器特性。
工作过程
1)存贮阶段。确定权值矩阵。设要存贮的向量为:
则按外积规则,神经元i到神经元j的连接权定义为:
写成向量形式:
10
2)第二阶段信息检索输入信息,进行随机的、异步的迭代,直到网络达到稳定,这时单元的输出为:
稳定条件也称匹配条件。状态向量满足匹配条件的称系统相空间的稳定点或固定点,检索完成,Hopfield收敛到稳态。
举例:
由3个神经元组成的Hopfield网络,有2个基本存贮器,存贮2个
向量[1,-1,1]和[-1,1,-1],设计权连接矩阵。
按公式:
相应的连接图形如右:
8