文档介绍：13
联想学习
1
13 无监督学习
网络具有在经常一同出现的模式之间学习其中关联的能力。
联想:系统中输入和输出之间的任何联系。
刺激:输入模式。
响应:输出模式。
2
13 简单联想网络
a = hardlimwp +b= hardlimwp– 
1, 有刺激 1, 有响应
p  a 
0, 无刺激 0, 无响应
3
13 香蕉联想器
无条件刺激: 条件刺激:
无需学习的先天的特征后天学习到的特征
1, 检测形状 1, 检测汽味
p0  p 
0, 不检测形状 0, 不检测汽味
4
13 无监督的Hebb规则
局部学习规则:仅用到和更新与条件刺激相关的权值
wijq= wijq – 1+ aiqp jq
向量形式:
Wq= Wq – 1+ aqpTq
训练序列(按时间顺序):
p1 p2 pQ
5
13 香蕉识别例子
初始权值:
w0 = 1 w0= 0
训练序列重复下列两组输入:
 p01= 0 p1= 1p02= 1 p2 = 1
训练中无条件刺激的权值不变,更新有条件刺激的权值:
= 1
wq= wq– 1+ aqpq
第一次迭代(视觉检测失败):
0 0
a  1 = h a r d l i m  w p  1 + w  0  p  1 – 
= h a r d l i m  1× 0 + 0× 1 – = 0 (无响应)
单独的汽味不产生响应,Hebb规则不改变权w
w1= w0+a1p1= 0 +0  1 = 0
6
13 例子
第二次迭代(视觉检测成功):
0 0
a  2 = h a r d l i m  w p  2 + w  1  p  2 – 
= h a r d l i m  1× 1 + 0× 1 – = 1 (香蕉)
汽味刺激和响应同时发生,Hebb将增加它们之间的权值:
w2= w1+a2p2= 0 +1  1 = 1
第三次迭代(视觉检测失败):
此时已建立了香蕉汽味和对它的反应之间的联想:
a3= hardlimw0 p03+ w2 p3– 
= hardlim1  0 + 1  1 – = 1 (banana)
w3= w2+a3p3= 1 +1  1 = 2
现在两种检测中只要有一个工作正常就能对香蕉作出响应。
7
13 Hebb规则的问题
•权能任意地增大,导致与生物系统矛盾
(突触不能无限制地增大)。
•没有机制使权减小。如果输入或输出有
噪声,将导致权值缓慢增加,直至最后
网络对任何刺激都作出响应。
8
13 带衰减的Hebb规则
Wq= Wq– 1+ aqpTq–Wq– 1
Wq= 1 –Wq – 1+ aqpTq
这阻止了权值矩阵无界地增大。最大权值能够通过设置ai和
pj为1(最大化学习),然后求解稳态权值(此时,新旧权
值相同)得到:
m ax m ax
wi j = 1 –wi j +  ai pj
m ax m ax
wi j = 1 –wi j + 
max 
w = ---
i j 
9
13 例子:香蕉联想器
= 1 =
第一次迭代(视觉检测失败):
0 0
a  1 = h a r d l i m  w p  1 + w  0  p  1 – 
= h a r d l i m  1× 0 + 0× 1 – = 0 (无响应)
w1= w0+a1p1– 0= 0 +0  1– 0= 0
第二次迭代(视觉检测成功):
0 0
a  2 = h a r d l i m  w p  2 + w  1  p  2 – 
= h a r d l i m  1× 1 + 0× 1 – = 1 (香蕉)
w2= w1+a2p2– 1= 0 +1  1– 0.