文档介绍：关于神经网络基本原理
*
现在学****的是第1页，共81页
*
人工神经网络（ ANN，Artificial Neural Network）也简称为神经网络（NN），是由大量的简单处理单元经广泛并行互连形成的一种网络系统。它速度可低至每秒数米。
现在学****的是第11页，共81页
*
人脑神经系统的结构与特征
（1）记忆和存储功能人脑神经系统的记忆和处理功能是有机地结合在一起的。神经元既有存储功能，又有处理功能，它在进行回忆时不仅不需要先找到存储地址再调出所存内容，而且还可以由一部分内容恢复全部内容。尤其是当一部分神经元受到损坏（例如脑部受伤等）时，它只会丢失损坏最严重部分的那些信息，而不会丢失全部存储信息。
现在学****的是第12页，共81页
*
人脑神经系统的结构与特征
（2）高度并行性人脑大约有1011～1012个神经元，每个神经元又有103～105个突触，即每个神经元都可以和其他103～105个神经元相连，这就提供了非常巨大的存储容量和并行度。例如，人可以非常迅速地识别出一幅十分复杂的图像。
现在学****的是第13页，共81页
*
（3）分布式功能人们通过对脑损坏病人所做的神经心理学研究，没有发现大脑中的哪一部分可以决定其余所有各部分的活动，也没有发现在大脑中存在有用于驱动和管理整个智能处理过程的任何中央控制部分。人类大脑的各个部分是协同工作、相互影响的，并没有哪一部分神经元能对智能活动的整个过程负有特别重要的责任。
可见，在大脑中，不仅知识的存储是分散的，而且其控制和决策也是分散的。因此，大脑是一种分布式系统。
现在学****的是第14页，共81页
*
（4）容错功能容错性是指根据不完全的、有错误的信息仍能做出正确、完整结论的能力。大脑的容错性是非常强的。例如，我们往往能够仅由某个人的一双眼睛、一个背影、一个动作或一句话的音调，就能辨认出来这个人是谁。
现在学****的是第15页，共81页
*
（5）联想功能人脑不仅具有很强的容错功能，还有联想功能。善于将不同领域的知识结合起来灵活运用，善于概括、类比和推理。例如，一个人能很快认出多年不见、面貌变化较大的老朋友。
（6）自组织和自学****功能人脑能够通过内部自组织、自学****能力不断适应外界环境，从而可以有效地处理各种模拟的、模糊的或随机的问题。
现在学****的是第16页，共81页
*
人工神经元及人工神经网络
人工神经元的结构如同生物学上的基本神经元，人工的神经网络也有基本的神经元。人工神经元是对生物神经元的抽象与模拟。所谓抽象是从数学角度而言的，所谓模拟是从其结构和功能角度而言的。
从人脑神经元的特性和功能可以知道，神经元是一个多输入单输出的信息处理单元，其模型如下图所示：
神经元模型
θ
x1
x2
xn
y
ω1
ω2
ωn
现在学****的是第17页，共81页
*
人工神经元及人工神经网络
神经元模型
θ
x1
x2
xn
y
ω1
ω2
ωn
现在学****的是第18页，共81页
*
人工神经元及人工神经网络
M-P模型
M-P模型属于一种阈值元件模型，它是由美国心理学家Mc Culloch和数学家Pitts提出的最早（1943）神经元模型之一。M-P模型是大多数神经网络模型的基础。
现在学****的是第19页，共81页
*
在如图所示的模型中，x1，x2，…，xn表示某一神经元的n个输入；ωi表示第i个输入的连接强度，称为连接权值；θ为神经元的阈值；y为神经元的输出。可以看出，人工神经元是一个具有多输入，单输出的非线性器件。神经元模型的输入是 ∑ ωi* xi (i=1,2,……,n) 输出是 y=f(σ)=f(∑ ωi* xi – θ) 其中f 称之为神经元功能函数（作用函数，转移函数，传递函数，激活函数）。
注：可以令X0=-1，w0=θ，这样将阈值作为权值来看待。
神经元模型
θ
x1
x2
xn
y
ω1
ω2
ωn
现在学****的是第20页，共81页
*
常用的人工神经元模型功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。
（1）阈值型（Threshold）