文档介绍：卷积神经网络算法综述
一、原理介绍
1、数据集
1根据使用场景自己制作数据集
“使用网上开源的数据集
2、前向传播
前向传播核心是介绍如何通过输入的X得到输出的Y,前向传播相对于反向传播比较容易理解。
a
(2)
+1卷积神经网络算法综述
一、原理介绍
1、数据集
1根据使用场景自己制作数据集
“使用网上开源的数据集
2、前向传播
前向传播核心是介绍如何通过输入的X得到输出的Y,前向传播相对于反向传播比较容易理解。
a
(2)
+1
h皿©
LaysrLj
对于第2层第1个节点的输岀恋有:oj=<7〔彳)=<7〔遊1甸+诚円+诡代+时)
对于第弓层第1个节点的输出鬭有：诵==artL^aj+唸城+硒揖—碎)
占化的，假设1-1匡有m个神经元「応二百有:
m
al=(?汕=(?''(ii_1+山
3、损失函数
损失函数是主要是用来衡量神经网络输出的值Y和真实值丫之间的差距，常用的损失函数主要有交叉熵和均方误差损失函数。：
匸交叉熵损失函数
loss=-[ylogy+(1-y)log(l—y)]
“均方误差损失函数
loss=m工Z1(Yf—Y)2
4、优化方法
优化方法是一种能够帮我们最小化或者最大化目标函数(损失函数)的一类算法，通过神经网络输出的值丫’和真实值丫之间存在差距，优化方法的主要目的是让该差距如何尽可能的达到最小。例如一个线性模型'(x)=Wx+b,根据输入x我们能够得到输出产(x),并且可以计算出输出值和实际值之间的差距(产(x)—Y)2,优化方法的最终目的是找出合适W和b,以使得上述的损失函数达到最小，损失函数的值越小,说明我们的模型越接近实际情形。
目前优化方法的核心思想是对损失函数进行一阶优化或者二阶优化。一阶优化是采用参数的梯度值来最大化或者最小化目标函数，二阶优化是采用二阶导数来进行优化，在实际应用中二阶导数计算量较大，一般很少使用。
常用的优化方法主要有：
-批量梯度下降(BatchGradientDescent)
批量梯度下降是最原始的方式，它在每次迭代时使用了所有的样本来进行梯度的更新，训练速度较慢，但是参数更新的时候考虑了所有的样本，从而能够更准确的朝向极值所在的方向，易于实现并行计算。
°随机梯度下降法(StochasticGradientDescent)
随机梯度下降是每次迭代使用一个样本来对参数进行更新，使得参数更新速度大大加快，但是准确度有所下降，可能会收敛到局部最优，并且不易于并行实现。
°小批量梯度下降(MiniBatchGradientDescent)
小批量梯度下降综合了上面两种方法的特点，每次迭代使用batch_size个样本进行来对参数进行更新，兼具了上面两种方法的优点，但是batch_size的选择不当能够带来一些问题。
Momentum
动量法的主要思想是让早期的梯度对当前梯度的影响越来越小，参数更新公式为：
将该公式展开为如下：
*一+(1-0)弘=呱+俨F-帕1沪f岛+…+优1_州—\(1-帕
3tn
可以看出离当前梯度越远，其系数越小，相乘之后导致之前的梯度大大降低。
RMSprop
我们希望沿着收敛速度快的方向步长大一些，与其垂直方向步长小一点，即将梯度震荡小的方向，增大其步长，