文档介绍：神经网络基本原理
神经网络基本原理
第1页
人工神经网络（ ANN，Artificial Neural Network）也简称为神经网络（NN），是由大量简单处理单元经广泛并行互连形成一个网络系统。它是对人脑系统简化、抽象和模1）记忆和存放功效人脑神经系统记忆和处理功效是有机地结合在一起。神经元现有存放功效，又有处理功效，它在进行回想时不但不需要先找到存放地址再调出所存内容，而且还能够由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（比如脑部受伤等）时，它只会丢失损坏最严重部分那些信息，而不会丢失全部存放信息。
12
神经网络基本原理
第12页
人脑神经系统结构与特征
（2）高度并行性人脑大约有1011～1012个神经元，每个神经元又有103～105个突触，即每个神经元都能够和其它103～105个神经元相连，这就提供了非常巨大存放容量和并行度。比如，人能够非常快速地识别出一幅十分复杂图像。
13
神经网络基本原理
第13页
（3）分布式功效人们经过对脑损坏病人所做神经心理学研究，没有发觉大脑中哪一部分能够决定其余全部各部分活动，也没有发觉在大脑中存在有用于驱动和管理整个智能处理过程任何中央控制部分。人类大脑各个部分是协同工作、相互影响，并没有哪一部分神经元能对智能活动整个过程负有尤其主要责任。
可见，在大脑中，不但知识存放是分散，而且其控制和决议也是分散。所以，大脑是一个分布式系统。
14
神经网络基本原理
第14页
（4）容错功效容错性是指依据不完全、有错误信息仍能做出正确、完整结论能力。大脑容错性是非常强。比如，我们往往能够仅由某个人一双眼睛、一个背影、一个动作或一句话音调，就能识别出来这个人是谁。
15
神经网络基本原理
第15页
（5）联想功效人脑不但含有很强容错功效，还有联想功效。善于将不一样领域知识结合起来灵活利用，善于概括、类比和推理。比如，一个人能很快认出多年不见、面貌改变较大老朋友。
（6）自组织和自学****功效人脑能够经过内部自组织、自学****能力不停适应外界环境，从而能够有效地处理各种模拟、含糊或随机问题。
16
神经网络基本原理
第16页
人工神经元及人工神经网络
人工神经元结构如同生物学上基本神经元，人工神经网络也有基本神经元。人工神经元是对生物神经元抽象与模拟。所谓抽象是从数学角度而言，所谓模拟是从其结构和功效角度而言。
从人脑神经元特征和功效能够知道，神经元是一个多输入单输出信息处理单元，其模型以下列图所表示：
神经元模型
θ
x1
x2
xn
y
ω1
ω2
ωn
17
神经网络基本原理
第17页
人工神经元及人工神经网络
神经元模型
θ
x1
x2
xn
y
ω1
ω2
ωn
18
神经网络基本原理
第18页
人工神经元及人工神经网络
M-P模型
M-P模型属于一个阈值元件模型，它是由美国心理学家Mc Culloch和数学家Pitts提出最早（1943）神经元模型之一。M-P模型是大多数神经网络模型基础。
19
神经网络基本原理
第19页
在如图所表示模型中，x1，x2，…，xn表示某一神经元n个输入；ωi表示第i个输入连接强度，称为连接权值；θ为神经元阈值；y为神经元输出。能够看出，人工神经元是一个含有多输入，单输出非线性器件。神经元模型输入是 ∑ ωi* xi (i=1,2,……,n) 输出是 y=f(σ)=f(∑ ωi* xi – θ) 其中f 称之为神经元功效函数（作用函数，转移函数，传递函数，激活函数）。
注：能够令X0=-1，w0=θ，这么将阈值作为权值来对待。
神经元模型
θ
x1
x2
xn
y
ω1
ω2
ωn
20
神经网络基本原理
第20页
惯用人工神经元模型功效函数f是表示神经元输入与输出之间关系函数，依据功效函数不一样，能够得到不一样神经元模型。惯用神经元模型有以下几个。
（1）阈值型（Threshold）这种模型神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值σ和其输出f(σ ）之间关系，如图5-3所表