文档介绍：人工神经网络
人工神经网络 Artificial Neural Networks
东北大学数学系
王琪
wangqimath126
主要内容
生物神经元
人工神经元
人工神经网络的网络结构
人工神经网络的训练
什么是人工神经网络
人工神经网络 Artificial Neural Networks
东北大学数学系
王琪
wangqimath126
主要内容
生物神经元
人工神经元
人工神经网络的网络结构
人工神经网络的训练
什么是人工神经网络
人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。
人工神经网络的概念
1）  一组处理单元（PE或AN）；
2）  处理单元的激活状态（ai）；
3）  每个处理单元的输出函数（fi）；
4）  处理单元之间的联接模式；
5）  传递规则（∑wijoi）；
6）  把处理单元的输入及当前状态结合起来产生激活值的激活规则（Fi）；
7）  通过经验修改联接强度的学****规则；
8）  系统运行的环境（样本集合）。
层次划分
信号只被允许从较低层流向较高层。
层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。
输入层：被记作第0层。该层负责接收来自网络外部的信息
输出层
隐藏层
输入层
o1
o2
om
…
x1
x2
xn
…
…
…
…
…
…
第j层：第j-1层的直接后继层（j>0），它直接接受第j-1层的输出。
输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。
隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号
输出层
隐藏层
输入层
o1
o2
om
…
x1
x2
xn
…
…
…
…
…
…
约定 :
输出层的层号为该网络的层数：n层网络，或n级网络。
第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。
输出层
隐藏层
输入层
o1
o2
om
…
x1
x2
xn
…
…
…
…
…
…
W(1)
W(2)
W(3)
W(h)
多级网——h层网络
输出层
隐藏层
输入层
o1
o2
om
…
x1
x2
xn
…
…
…
…
…
…
W(1)
W(2)
W(3)
W(h)
循环网
x1
o1
输出层
隐藏层
输入层
x2
o2
om
xn
…
…
…
…
…
…
…
循环网
如果将输出信号反馈到输入端,就可构成一个多层的循环网络。
输入的原始信号被逐步地“加强”、被“修复”。
大脑的短期记忆特征——看到的东西不是一下子就从脑海里消失的。
稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。
人工神经网络的训练
人工神经网络的训练
人工神经网络最具有吸引力的特点是它的学****能力。
1962年，Rosenblatt给出了人工神经网络著名的学****定理：人工神经网络可以学会它可以表达的任何东西。
人工神经网络的表达能力大大地限制了它的学****能力。
人工神经网络的学****过程就是对它的训练过程
无导师学****br/>无导师学****Unsupervised Learning)与无导师训练(Unsupervised Training)相对应
无导师训练方法不需要目标，其训练集中只含一些输入向量，训练算法致力于修改权矩阵，以使网络对一个输入能够给出相容的输出，即相似的输入向量可以得到相似的输出向量。
抽取样本集合中蕴含的统计特性，并以神经元之间的联接权的形式存于网络中。
无导师学****br/>Hebb学****律、竞争与协同（Competitive and Cooperative）学****随机联接系统（Randomly Connected Learning）等。
Hebb算法[D. O. Hebb在1961年]的核心：
当两个神经元同时处于激发状态时被加强，否则被减弱。
数学表达式表示：
W