文档介绍：神经网络 第一章
第1页，本讲稿共46页
课时安排:
48学时, 1~16周。
参考书目：
最新中文书籍；
Neural Networks: A Comprehensive
Foundation(在模仿人脑结构及其功能的信息处理系统。
第15页，本讲稿共46页
目前有上百种ANN模型：
基本处理单元：人工神经元----对生物神经元的近似仿真。
人工神经元有不同的模型：算法在不同程度上或多或少地接近神经信息处理的原则。
第16页，本讲稿共46页
输出信号的强度大小：反映该单元对相邻单元影响的强弱。
人工神经元之间通过互相联接形成网络：人工神经网络（ANN）。
第17页，本讲稿共46页
ANN是由大量高度互连的信号或信息处理单元（人工神经元）组成的计算系统：用于模拟人脑行为的复杂网络系统，反映人脑功能的许多基本特征。
1. 对人脑神经系统的某种简化、抽象和模拟；
2. 理论化的人脑神经网络的数学模型。
目前ANN的构造大体采用如下原则：
1. 一定数量的基本单元分层联接;
2. 每个单元的输入、输出信号以及综合处理内容比
较简单；
3. 网络的学****和知识存储体现在各单元之间的联接
强度上。
第18页，本讲稿共46页
ANN的固有特征：
1. 信息的处理和记忆分布在整个网络上,把硬
件与软件在结构上分开是困难的；
2. 高度的并行性：
大量简单处理单元并行活动。
：
网络之间互相制约和互相影响，实现从输入空间到输出状态空间的非线性映射;
网络整体性能不是网络局部性能的简单迭加。
第19页，本讲稿共46页
：
记忆的信息存储在神经元之间的联接（权值）中；
分布式的存储方式。
5. 处理单元（神经元）包含典型的非线性激活
函数;
:
高度冗余的并行结构表现出很高的非敏感性。
第20页，本讲稿共46页
7. 自适应、自学****功能：
联接模式：神经元之间相互联接的方式。
相互之间联接度通过联结权重体现。
ANN中, 改变信息处理过程及其能力, 实际上就是修改网络权值的过程。
神经元的重要方面：突触（联接）按照自适应改变。
第21页，本讲稿共46页
至今提出的真实生物神经网络的人工模型是很简单的，只是真实生物结构的粗略近似。
人工神经网络结构问题仍是一个困难的尚未解决的问题！
是否有必要尽可能精确模拟生物构造？
是否能通过不完全对应于真实生物神经系统的模型，取得期望的性质？
第22页，本讲稿共46页
§ 人工神经网络的发展
人工神经网络是一门高度综合的交叉学科, 其发展大致分为四个时期:
探索时期;
第一次研究热潮时期;
低潮时期;
第二次研究热潮时期.
第23页，本讲稿共46页
一. 探索时期: (40年代)
1890年, William James发表了第一部详细论述人脑结构及功能的专著:
Principles of Psychology (心理学原理)
对相关学****联想记忆的基本原理做了开创性研究：
当一个基本的脑细胞曾经一起或相继被激活过，其中一个受刺激重新激活时会将刺激传播到另一个；
神经细胞激活是细胞所有输入叠加的结果。
第24页，本讲稿共46页
1943年，神经元理论建模；
二值神经元模型：神经细胞视为二值
（MP模型） 开关元件，细胞按
不同方式组合联接
来实现。
模型过于简单。
第25页，本讲稿共46页
and
A Logical Calculations of the Ideas Lmmanent in Nervous Activity
Bulletin of mathematical Biophysics,Vol. 5: 115 ~ 133, 1943
第26页，本讲稿共46页
1949年，Hebb学****法则；
脑细胞活动时细胞间的联系被加强---通过调节神经元之间的联接强度来实现ANN的学****功能。
The Orgnization of Behavior
John Wiley,New York,1949
第27页，本讲稿共46页
二. 第一次研究热潮时期:(50年代末~60年代初)
1958年：感知器（Perceptron）