文档介绍：Convolutional works 卷积神经网络
1
Contents
机器学习,神经网络,深度学习之间的关系
什么是神经网络
梯度下降算法
反向传播算法
神经网络的训练
什么是卷积
什么是池化
-5
其它的工作
2
Convolutional works
机器学习
神经网络
深度学习
CNN/RNN
3
机器学习,神经网络,深度学习之间的关系
Convolutional works
4
什么是神经网络?
人工神经网络(Artificial work, ANN),简称神经网络(NN)
神经网络其实就是按照一定规则连接起来的多个神经元
神经元: ,
每个连接都有一个权值
Convolutional works
梯度下降算法
5
梯度下降算法是用来求函数最小值的算法
每次沿着梯度的反方向,即函数值下降最快的方向,去修改值,就能走到函数的最小值附近(之所以是最小值附近而不是最小值那个点,是因为我们每次移动的步长不会那么恰到好处,有可能最后一次迭代走远了越过了最小值那个点)
Convolutional works
反向传播算法(Back Propagation)
反向传播算法是计算多层复合函数的所有变量的偏导数的利器,上面梯度下降的例子中就是求梯度,简单的理解就是链式法则
6
根据链式法则,我们求e对a的偏导和e对d的偏导是如下所示:
可以看出,它们都求了e对c的偏导。对于权值动则数万的深度模型中的神经网络,这样的冗余所导致的计算量是相当大的
BP算法则机智地避开了这种冗余,BP算法是反向(自上往下)来求偏导的。
Convolutional works
梯度下降算法+反向传播算法
7
Convolutional works
8
Convolutional works
9
Convolutional works
10