文档介绍：14
竞争网络
1
14 Hamming 网络
2
14 第一层(关联)
要求网络识别下列原型向量:
p1 p2 pQ
第一层权值矩阵(构造如同instar网络)和偏置向量如下给出:
T T
1w p 1 R
T T b值的选取要保证所有
1 2w p 2 1 R
W = = b =

输出都不小于零


T T R
Sw p Q
第一层的输出是:
p T p + R
1 与输入向量最接近的原
1 T
a = W 1 p + b 1 = p 2 p + R 型向量产生最大输出


T
p Q p + R
3
14 第二层(竞争)
用第一层的输出初始化第二层:
a20= a1
a2t + 1= poslinW2a2t
2  1 if i = j 1
wij =  0 -----------
– otherwise S – 1
横向抑制:
每个神经元的输出都将对所有其它神经元产生一种抑制作用
a2t + 1= poslina2t – a2t
i  i  j 
j  i
小于其余S-1个aj的均值
4
14 竞争层
用一个作用于第一层的竞争传输函数代替网络的递归层
假设向量规格化长度为L:
2
T T
1w 1w p L cos q 1
T T 2
n = W p = 2w p = 2w p = L cos q 2




T T 2
Sw Sw p
L cos q S
a = competn

 1 i = i 
ai =  ni nii i  ini = ni
 0 i  i
5
14 竞争学习
可以通过把权值矩阵的行设置为理想原型向量值来设计一个
竞争网络分类器。然而,在不知道原型向量的情况下,希望
能有一个学习规则来训练竞争网络的权值。Instar规则就是一
个这样的学习规则。它不仅能使遗忘减少到最小程度,而且
在输入向量是规格化时使权值向量也是规格化的(书P265)。
Instar 规则:
iwq= iwq– 1+ aiqpq– iwq – 1
对于竞争网络,竞争获胜的神经元输出为1,其它神经元输
出为0。因此,能够从Kohonen规则中得到相同的结果。
Kohonen 规则(设神经元i*获胜):
q= q– 1+ q–q – 1
iw iw p iw
q = 1 –q – 1+ q
iw iw p

iwq= iwq – 1 i  i
6
14 图的表示
Kohonen 规则的图示
q= q– 1+ q–q – 1
iw iw p iw
q = 1 –q – 1+ q
iw iw p
7
14 例子
8
14 四次迭代
9
14 聚类
权
输入向量
训练前训练后
一个竞争层有多少个神经元,就能够有多少个类。
这对那些事先不知道类的个数的应用领域是不适用的。
1
0