文档介绍：第2 章神经网络要求理解神经网络的思想原理,掌握神经网络的典型结构和网络训练的学****算法,熟练掌握BP神经网络的结构原理和学****算法,并能熟悉神经网络的各种实际应用。神经网络简介神经网络简介神经网络(work)也叫人工神经网络,是指模拟人脑神经系统的结构和功能,运用大量的处理部件,由人工方式构造的网络系统。神经网络理论突破了传统的、线性处理的局限,是一种非线形动力系统,并以分布式存储和并行协同处理为特色,虽然单个神经元的结构和功能极其简单有限,但是大量的神经元构成的网络系统能实现极其复杂的行为和功能。神经网络的研究发展历史神经网络的研究发展历史?萌芽时期(1940-1960)1943年,ulloch和数学家Pitts合作,提出了神经元的数学模型和网络的结构方法,即M-P模型,这就是神经网络的概念。标志着神经网络时代的开始。1957年,计算机科学家Rosenblatt用硬件完成了最早的神经网络模型,定义为感知器(Perceptron)用来模拟生物的感知和学****能力。把神经网络从纯理论推向了工程实践。??低谷期低谷期((19601960--19701970))??原因:原因:19691969年,人工智能之父年,人工智能之父MinskeyMinskey和和PapertPapert发表发表论著指出了论著指出了PerdeptronPerdeptron无科学价值,只能作线形无科学价值,只能作线形划分,对于非线形或其它分类会遇到很多困难,划分,对于非线形或其它分类会遇到很多困难,连简单的连简单的XORXOR逻辑分类都做不到。逻辑分类都做不到。??复兴期复兴期((19801980--19901990))19821982年,加州大学的物理学家年,加州大学的物理学家HopfieldHopfield提出了提出了有名的全连接有名的全连接HopfieldHopfield网络模型,并用电路实网络模型,并用电路实现,人们对神经网络有了新的认识。现,人们对神经网络有了新的认识。19861986年,年,RumelhartRumelhart等人提出了反向传播算法等人提出了反向传播算法,使HopfieldHopfield网络模型和多层前馈型神经网络成网络模型和多层前馈型神经网络成为应用最为广泛的模型。为应用最为广泛的模型。??全新的发展时期全新的发展时期((19901990年以后)年以后)??电子电路、脑科学、生物学、光学的进步为人电子电路、脑科学、生物学、光学的进步为人工神经网络的发展打下了基础。工神经网络的发展打下了基础。??理论不断深化,应用得到进一步推广理论不断深化,应用得到进一步推广??光学神经网络,混沌神经网络,模糊神经网络,光学神经网络,混沌神经网络,模糊神经网络,进化神经网络等新模型出现。进化神经网络等新模型出现。??、日本计划、日本HFSPHFSP计划、法国尤里卡计划、法国尤里卡计划、德国欧洲防御计划、前苏联高技术发展计划计划、德国欧洲防御计划、,美国物理学会在月,美国物理学会在SnowbirdsSnowbirds召开了国际神经召开了国际神经网络学术会议;网络学术会议;8787年年66月,月,IEEEIEEE在在San DiegoSan Diego召开了国际神经网络学术召开了国际神经网络学术会议,并成立了国际神经网络学会;会议,并成立了国际神经网络学会;8888年起,年起,IEEEIEEE和国际神经网络学会每年召开一次国际和国际神经网络学会每年召开一次国际会议;会议;我国自我国自9191年开始每两年召开一次学术会议。年开始每两年召开一次学术会议。,月,IEEEIEEE神经神经网络会刊问世。网络会刊问世。,智能控制、模式识别、计已经渗透到各个领域,智能控制、模式识别、计算机视觉、自适应滤波、信号处理、非线形优化、语算机视觉、自适应滤波、信号处理、非线形优化、语音识别、知识处理、传感技术与机器人等等。神经网音识别、知识处理、传感技术与机器人等等。神经网络代表一种新的主义络代表一种新的主义——连接主义,解决诸如知识表达、连接主义,解决诸如知识表达、推理学****联想记忆、乃至复杂的社会现象,如混沌,推理学****联想记忆、乃至复杂的社会现象,如混沌,社会演变的复杂系统的统一模型,它预示着一个新的社会演变的复杂系统的统一模型,它预示着一个新的工业。工业。?人工神经网络的特性:?(1)并行分布处理。神经网络具有高度的并行结构和并行实现能力,因而具有较好的耐故障能力和较快的总体处理能力。这一特性特别适于实时和动态处理。?(2)非线性映射。神经网络