文档介绍：计算智能神经网络
第一页，课件共26页
神经网络
马文·明斯基（Marvin Lee Minsky， 1927年8月9日－）生于纽约市，1944年-1945年服役于美国海军。
1954年于普林斯顿大学获得数学博士学位。在数学系做研究生时，明斯基与同学构建了第一台基于模拟突出增强原理的随机连线网络学****机器(SNARC)，被称为第一台神经网络计算机。
2. 自己是第一台神经网络计算机的制造者，却险些葬送了神经网络的前途。
1. 由于搞的太偏门，险些无法毕业。
趣事：
第二页，课件共26页
神经网络
原文如下：
尽管它有严重的局限性，感知器展示了它自身的研究价值。它有很多吸引人的优点：它的线性，迷人的学****法则，作为一类并行计算范例的清晰的简单性。没有任何理由认为这些优点能带到多层感知器中去。依据我们的直觉判断，即使推广到多层系统也不会有好的结果。但是，我们认为证明（或否定）这一点是一个很重要的需要研究的问题。
1969年，他和佩波特的名著《感知机》证明了Rosenblatt感知机解决非线性问题能力薄弱，连XOR逻辑分类都做不到，只能作线性划分。更重要的是，他将关于单层感知器局限性的结论推广到了多层感知器。
第三页，课件共26页
神经网络
神经网络研究进入低谷期，一直持续了将近20年。
神经网络的反击：
1988年，赛本柯(Cybenko)等证明：具有两个隐层的BP网络可以实现任何有界连续函数。
1989年又证明：单隐层BP网络可以实现任何有界连续函数。
明斯基对多层感知器的“判决”被彻底推翻
我想说两点：
1. 不要随便预言科学的未来。好像就从来没准过。
2. 不要太迷信大师。
第四页，课件共26页
多层前馈神经网络
结构
输入层
隐含层
输出层
W1
W2
x2
x1
xn
y2
y1
ym
…
…
…
…
…
说明
1. 信号只能向前传播--前馈
2. 含有一个输入层和输出层，含有多个隐含层
3. 每层之间的连接都有权值
4. 每层节点数目可以不同
第五页，课件共26页
多层前馈神经网络
具有单个隐含层的网络已经具备非线性分类能力，因此，常见的神经网络为3层：输入层、隐含层、输出层
输入矢量: x1,x2, …, xi
x2
x1
xi
…
…
wij
wjk
i
j
k
…
θj
θk
输入层节点数目为i
输入层第i个节点输出为
隐含层节点数目为j
隐层第j个节点输出为
输出层节点数目为k
输出层第k个节点输出为
隐含层阈值为θj，输出层为θk
输入层到隐层权值为wij，隐层到输出层权值为wjk
第六页，课件共26页
多层前馈神经网络
工作过程：
x2
x1
xi
…
…
wij
wjk
i
j
k
…
θj
θk
f为激励函数（转移函数）
第七页，课件共26页
激励函数
神经网络常用的激励函数：
(1) Sigmoid函数：
1
x
y
0
(0 <f(x) < 1)
Sigmoid函数为一单调递增连续函数，且处处可导，其导数为：
第八页，课件共26页
激励函数
(2) 双曲正切函数：
( -1 < f(x) <1 )
1
-1
x
y
0
导数为：
Sigmoid函数通过下式能够映射到(-1,1)范围：
第九页，课件共26页
误差函数
用期望输出与实际输出的方差作为相应的误差测度
tk为第k个样本的期望输出，yk为第k个样本通过神经网络计算的实际输出。N为参与训练的样本总数
如果输出向量的维数为m，则：
tk,i为第k个样本第i维的期望输出，yk,i为第k个样本通过神经网络计算出的第i维实际输出。
第十页，课件共26页