文档介绍：神经网络学****br/>第1页，本讲稿共51页
摘自《Talking Nets: An Oral History of Neural Networks》封面
2008-2009学年第1学期
神经网络学****br/>第2页，本讲稿共511学期
神经网络学****br/>第13页，本讲稿共51页
“感知器”是怎么训练的呢？
假设每个样本含 n 个属性，用向量(x1, x2, …, xn)表示；若X 为样本变量， X∈Rn；
wij 是 xi 到神经元 j 的连接权值， Wj 是神经元 j 的输入连接的权值向量，即Wj =(w1j , w2j , …, wnj )；
先随机设置{wij}和{θj }，θj 是神经元 j 的阈值；
不同神经元的参数（包括连接权值和阈值）的学****是相互独立的，故只需给出一个神经元的学****算法。
2008-2009学年第1学期
神经网络学****br/>第14页，本讲稿共51页
神经元 j 的参数怎么学****呢？
样本必须是有教师指导的，即预先知道其分类；
输入(x1, x2, …, xn)时，神经元j的输出应为 dj 。
对于离散感知器，yj 按下式计算。
则wij 的调整规则是
wij(t +1) = wij(t) + η(dj - yj) xi
η为调整步幅系数，η>0
2008-2009学年第1学期
神经网络学****br/>第15页，本讲稿共51页
“感知器”对线性可分问题具有分类能力
若样本空间为Rn，存在n-1维的超平面可将样本分为两类，则称线性可分。
线性可分的二维样本空间
存在至少一组wij和θj ，使得对应两个子空间的神经元输出分别为0和1。
2008-2009学年第1学期
神经网络学****br/>第16页，本讲稿共51页
t
样本
X
期望
输出d
W(t)
实际输出
y=W(t)TX
W(t+1)=
W(t)+η(d－y)X
0
(1, -1, -1)
-1
(0, 0, 0)
0
(-, , )
1
(1, 1, -1)
1
(-, , )
-
(, , -)
2
(1, -1, -1)
-1
(, , -)
-
(, , -)
3
(1, 1, -1)
1
(, , -)
(, , -)
∞
…
…
…
…
(0, 1, 0)
例：连接强度W的学****过程（η=）
验证： (0, 1, 0)T(1, -1, -1) = -1 (0, 1, 0)T(1, 1, -1) = 1
2008-2009学年第1学期
神经网络学****br/>第17页，本讲稿共51页
“感知器”无法解决线性不可分问题；
1969年，Minsky和Papert指出了“感知器”的这种局限性，例如，“感知器”无法实现“异或”逻辑。
逻辑“与”
逻辑“异或”
x1
x2
y
x1
x2
y
0
0
0
0
0
0
0
1
0
0
1
1
1
0
0
1
0
1
1
1
1
1
1
0
2008-2009学年第1学期
神经网络学****br/>第18页，本讲稿共51页
设输入向量X=(x1, x2)，神经元j的输出为：
学****逻辑“与”时，有
至少存在一组w1j 、w2j 和θ满足上述方程组，即单结点感知器对2输入的逻辑“与” 问题有分类能力。
2008-2009学年第1学期
神经网络学****br/>第19页，本讲稿共51页
学****逻辑“异或”时，有
不存在任何一组w1j 、w2j 和θ满足上述方程组，即单结点感知器不能对2输入的逻辑“异或” 问题求解。
0 1
1
x1
x2
线性可分
0 1
1
x1
x2
线性不可分
2008-2009学年第1学期
神经网络学****br/>第20页，本讲稿共51页
多层感知器
采用二层或多层感知器；
只允许某一层的连接权值可调，因为无法知道网络隐层的神经元的理想输出；
要允许各层的连接权值可调，需要用1986年提出的误差反向传播（即BP）学****算法。
多层感知器可解决单层感知器无法解决的某些问题，例如，用二层感知器就可解决异或问题。
2008-2009学年第1学期
神经网络学****br/>第21页，本讲稿共51页
70年代，集成电路使计算机快速发展；
在“感知器”局限性的困