文档介绍：16
自适应谐振理论
(ART)
1
16 竞争网络学习过程稳定性问题
•稳定性:
当有许多输入送进一个竞争网络时,不能保证网络总是
形成稳定聚类,即不能保证权值会最终收敛。
•可塑性:
网络的自适应性,即先前学到的内容被后面的学习内容
破坏掉。
•稳定性/可塑性二难问题
如何能让网络既能最大限度地接纳新的模式,同时又能
保证较少地影响已学到的模式?
2
16 基本的ART体系结构
第1层第2层
增益控制
输入
期望值
ART1:处理二值离散信号;
:处理连续模拟信号;
ART2 重置
ART3:兼容前两种结构的功
能并将两层网络扩大
为任意多层网络。
调整子系统
3
16 ART 子系统
第1层
比较输入模式和期望值
L1-L2 连接(Instars)
完成聚类操作
W1:2的每一行是一个原型模式
第2层
竞争, 对比度增强
L2-L1连接(Outstars)
期望值
完成模式回忆
W2:1的每一列是一个原型模式
调整子系统
当期望值和输入不匹配时重置
废除当前取胜的神经元
4
16 ART1的第1层
期望值
二值向量
二值向量
增益控制
5
16 第1层的操作
并联模型:
Outstar回忆
1
dn (t) 1 + 1 1 2:1 2 1 - 1 - 1 2
-------------- = – n (t) + b – n (t)p+ W a t –n (t) + b W a t
dt
激励输入抑制输入
(与期望值比较) (增益控制)
a1 = hardlim+n1
+ 1, n 0
hardlim n=
0, n 0
6
16 第1层的激励输入
2:1 2
p + W a t
假设第2层的神经j竞争获胜(采用“胜者全得”的竞争方法):
0
0
2:1 2 2:1
W a = 2:1 2:1 2:1 2:1 = w (W2:1的第j列)
w w w w 2 j
1 2 j S
1
因此,激励输入是输入模式与L2-L1期望值的和:
2:1 2 2:1
p + W a = p + w j
7
16 第1层的抑制输入
增益控制:
-W1a2t
1 1 1
- 1 1 1 1
W =
1 1 1
当第2层活跃时(一个神经元竞争获胜),增益控制是一
个元素全为1的 S 1 维向量,当第2层不活跃时(所有神经
元的输出是零),增益控制是一个0向量。
8
16 稳定状态分析:情况I
1 S2 S2
dn
--------i = – n1 + +b1 – n1 p + w2:1 a2 –n1 + -b1 a2
dt i i i i j j i j
j = 1 j = 1
2
情况I:第2层不活跃(每个a j =0)
dn1
--------i = – n1 + +b1 – n1 p
dt i i i
在稳定状态时:
+ 1
1 + 1 1 1 + 1 1 b p i
0 = – n i + b – n i p i = – 1 + p i n i + b p i n i = -- - - - - - - - -- - --
1 + p i
因此,如果第2层不活跃:
Pi取值为0或1
a1 = p
9
16 稳定状态分析:情况II
2
情况II:第2层活跃(一个a j = 1)
1
d n
--------i = – n1 + +b1 – n1 p + w2:1 –n1 + -b1
dt i i i i j i
在稳定状态:
1 + 1 1 2:1 1 - 1 + 1 2:1 - 1
0 = – n + b – n p + w –n + b 1 b p + w – b
i i i i j i n = ---------------i------------i----j----------------
2:1 1 + 1 2:1 - 1 i 2:1
= –1 + pi + wi