文档介绍：深度学习总结（深度学习总结）
深度学习总结
1. 简介 Deep Neural Network(深度神经网络)：提高语音识别准确率，相比目前最先进的基于Hidden Markov Model的技术，其准确率提升了大约30%。可以解决的学习：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本中集中学习数据集本质特征的能力。(多层的好处是可以用较少的参数表示复杂的函数)
2. 人脑视觉原理
1）从原始信号摄入开始(瞳孔摄入像素)
2）做初步处理(大脑皮层某些细胞发现边缘和方向
3）抽象（大脑判定眼前物体和形状）
4）进一步抽象（大脑进一步判定此物体是人脸）

总而言之，人的视觉系统的信息处理是分级的。高层特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。
这个生理学的发现，促成了计算机人工智能，在40年后的突破性发展。
3. 机器视觉感知流程
特征
学习算法在一个什么粒度上的特征表示，才能发挥作用呢？
就一个图片来说，像素级的特征根本没有价值，只有特征具有结构性时，学习算法才能发挥作用。
11015年前后，David Field试图同时用生理学和计算机的手段，研究视觉问题：

1）他收集了很多黑白风景照片，从这些照片中，提取出400个大小一样的小碎片，再从这些多黑白风景照片中，随机提取另一个碎片T；
2）如何从这400个碎片中，选取一组碎片合成出一个新的碎片，而这个新的碎片，应当与随机选择的目标碎片T尽可能相似，同时选取的碎片数量尽可能少；
3）David Field 使用稀疏编码的方式来解决这个问题。令人惊奇的是，被选中的碎片，基本上都是照片上不同物体的边缘线，这些线段形状相似，区别在于方向。
小块的图形可以由基本的边缘（edge)构成，更结构化、更复杂且具有概念性的图形如何表示呢？
1）直观上说，就是找到有意义的小碎片（patch)，再将其进行组合(combine)，就得到了上一层的特征(feature),递归地向上学习特征(learning feature)
2）高层表达由底层表达的组合而成。

需要的特征数量
1）我们知道需要层次的特征构建，由浅入深，但每一层应该有多少个特征呢？
2）任何一种方法，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，所以，并不一定特征越多越好。
4. 深度学习的基本思想
1）假设一个系统S，它有n层(S1,S2,