文档介绍：该【神经网络算法 】是由【海洋里徜徉知识】上传分享，文档一共【18】页，该文档可以免费在线阅读，需要了解更多关于【神经网络算法 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。算法发展历史
1943年，心理学家McCulloch和数学家Pitts参考了生物神经元结构，发表了抽象神经元模型MP.
1949年，心理学家Hebb提出了Hebb学习率，认为人脑神经细胞突触（也就是连接）上强度上能够改变。
1958年，计算科学家Rosenblatt提出了由两层神经元组成神经网络。
1969年， Minsky出版了一本叫《Perceptron》书，里面用详细数学证实了感知器弱点，尤其是感知器对XOR（异或）这么简单分类任务都无法处理。
1986年，Rumelhar和Hinton等人提出了反向传输（Backpropagation，BP）算法，处理了两层神经网络所需要复杂计算量问题。
年，Hinton在《Science》和相关期刊上发表了论文，首次提出了“深度信念网络”概念。
神经网络算法专家讲座
第1页
MP模型
权重是已知，不能进行学习，只能处理简单线性问题。
神经网络算法专家讲座
第2页
两层神经元网络
两层神经元网络，又称感受器，起初得到热捧。
神经网络算法专家讲座
第3页
感知器作用和缺点
感受器能够方便地处理线性问题，不过无法有效处理与或非问题
神经网络算法专家讲座
第4页
BP神经网络
即使增加层数能够处理与或非问题，不过计算量是一个巨大问题。向后计算法（BP）出现，处理了计算量问题，使神经网络算法得到了推广。
神经网络算法专家讲座
第5页
BP模型对数据处理结果
不过BP模型计算时间太长受到了诟病，很快被支持向量机取代。
神经网络算法专家讲座
第6页
多层神经网络
首先，经过预训练，得到靠近最优解权重，这么能够节约计算时间。
再者，多层网络学习能够比普通网络容纳更多参数，结果能够更准确。
神经网络算法专家讲座
第7页
神经网络BP模型算法原理
信号处理
激活函数
数据训练——向后传递法
神经网络算法专家讲座
第8页
信号处理
归一化处理
-最小标准化
2. Z-score标准化
通常是为了把数据限制在[0，1]范围内，而且也是为了减小奇异数据对整体影响。
神经网络算法专家讲座
第9页
激活函数
激活函数就是人工神经元处理输入信息并信息传递机制。选择使用非线性函数，能够更适用特定学习任务。
神经网络算法专家讲座
第10页