文档介绍：会计学
1
数据挖掘RNN算法(suàn fǎ)讲课
第一页，共30页。
目录
1：深度(shēndù)学****发展史
2：从神经网络到深度(shēndù)学****br/>3：循环神经网络基础
2
第1页/共30页
第二页，共30页。
1：深度(shēndù)学****发展史
3
第2页/共30页
第三页，共30页。
深度(shēndù)学****发展史
SVM
Boosting
Decision tree
KNN
…
Neural network
Back propagation
1986
2006
Deep belief net
Science
Speech
2011
2012
Computer vision
NLP
Speech
……
2014
Geoffrey Hinton
1949
Learning model
of neurons
1958
Perceptron
Hebb
Rosenblatt
Geoffrey Hinton
DBN
CNN
RBM
RNN
…
机器学****xuéxí)第一次浪潮：
机器(jī qì)学****第二次浪潮
浅层学****模型
(Shallow Learning)
深度学****模型
(Deep Learning)
First Winter of NN
Second Winter of NN
4
第3页/共30页
第四页，共30页。
synapse
dendrite
Cell body
Synaptic
terminals
Axon
轴突末梢(mòshāo)
突触
树突
细胞体
轴突
w1
x1
xn
Σ
线性动态系统
激励函数
o
wn
神经元是构成(gòuchéng)神经网络的最基本单元(构件), 因此, 首要任务是构造人工神经元模型。
细胞体Cell body
树突dendrite
突触synapse
轴突Axon
来自其它神经元
神经元模型(móxíng)
5
第4页/共30页
第五页，共30页。
y
θ
y
a
x
o
x2
x1
xn
w1
w2
wn
•
•
•
w1
x1
xn
Σ
激励函数
o=f(net)
wn
net = WTX
典型的激励函数(hánshù)(Activation Function)：
线性函数(hánshù)，非线性斜面函数(hánshù)，阶跃函数(hánshù)，
S型函数(hánshù)等。
神经元模型(móxíng)
6
第5页/共30页
第六页，共30页。
Input Layer
Hidden Layer
Output Layer
x1
xM
h1
hL
o1
oN
w11
wm1
wM1
wmL
wML
w1L
v11
vl1
vL1
vLN
神经网络一般(yībān)形式
• Nonlinearity 非线性
• Parallel Processing 并行处理
• Input—Output Mapping 输入输出匹配(pǐpèi)
• Adaptivity 自适应性
o
c
x2
x1
xn
w1
w2
wn
•
•
•
7
第6页/共30页
第七页，共30页。
2：从神经网络到深度(shēndù)学****br/>8
第7页/共30页
第八页，共30页。
神经网络
深度(shēndù)学****网络
相似之处：
不同之处：
模拟(mónǐ)人脑的分层网络结构；
强调深度的重要性；
突出特征(tèzhēng)学****的重要性；（逐层抽象）
训练机制；
9
第8页/共30页
第九页，共30页。
为什么需要(xūyào)深度？
深层网络(wǎngluò)具有刻画复杂函数的能力
10
第9页/共30页
第十页，共30页。