文档介绍：会计学
1
数据挖掘RNN算法讲课
目录
1：深度学****发展史
2：从神经网络到深度学****br/>3：循环神经网络基础
2
第1页/共30页
1：深度学****发展史
3
第2页/共30页
深度学****发展史
SVM
Boosting
Decision tree
KNN
…
Neural network
Back propagation
1986
2006
Deep belief net
Science
Speech
2011
2012
Computer vision
NLP
Speech
……
2014
Geoffrey Hinton
1949
Learning model
of neurons
1958
Perceptron
Hebb
Rosenblatt
Geoffrey Hinton
DBN
CNN
RBM
RNN
…
机器学****第一次浪潮：
机器学****第二次浪潮
浅层学****模型
(Shallow Learning)
深度学****模型
(Deep Learning)
First Winter of NN
Second Winter of NN
4
第3页/共30页
synapse
dendrite
Cell body
Synaptic
terminals
Axon
轴突末梢
突触
树突
细胞体
轴突
w1
x1
xn
Σ
线性动态系统
激励函数
o
wn
神经元是构成神经网络的最基本单元(构件), 因此, 首要任务是构造人工神经元模型。
细胞体Cell body
树突dendrite
突触synapse
轴突Axon
来自其它神经元
神经元模型
5
第4页/共30页
y
θ
y
a
x
o
x2
x1
xn
w1
w2
wn
•
•
•
w1
x1
xn
Σ
激励函数
o=f(net)
wn
net = WTX
典型的激励函数(Activation Function)：
线性函数，非线性斜面函数，阶跃函数，
S型函数等。
神经元模型
6
第5页/共30页
Input Layer
Hidden Layer
Output Layer
x1
xM
h1
hL
o1
oN
w11
wm1
wM1
wmL
wML
w1L
v11
vl1
vL1
vLN
神经网络一般形式
• Nonlinearity 非线性
• Parallel Processing 并行处理
• Input—Output Mapping 输入输出匹配
• Adaptivity 自适应性
o
c
x2
x1
xn
w1
w2
wn
•
•
•
7
第6页/共30页
2：从神经网络到深度学****br/>8
第7页/共30页
神经网络
深度学****网络
相似之处：
不同之处：
模拟人脑的分层网络结构；
强调深度的重要性；
突出特征学****的重要性；（逐层抽象）
训练机制；
9
第8页/共30页
为什么需要深度？
深层网络具有刻画复杂函数的能力
10
第9页/共30页