文档介绍：深度学****的基本理论与方法
成科扬
2013年10月30日
1
编辑课件
目 录
概述
动机
深度学****简介
深度学****的训练过程
深度学****的具体模型及方法
深度学****的性能比较
深度学****的应用
展望
参考文献
相关程序软件及链接
2
编辑课件
概 述
深度学****一种基于无监督特征学****和特征层次结构的学****方法
可能的的名称：
深度学****br/>特征学****br/>无监督特征学****br/>3
编辑课件
动 机
良好的特征表达，对最终算法的准确性起了非常关键的作用；
识别系统主要的计算和测试工作耗时主要集中在特征提取部分；
特征的样式目前一般都是人工设计的，靠人工提取特征。
Low-level sensing
Pre-processing
Feature extract.
Feature selection
Inference: prediction, recognition
传统的模式识别方法：
4
编辑课件
动 机——为什么要自动学****特征
实验：LP-β Multiple Kernel Learning
Gehler and Nowozin, On Feature Combination for Multiclass Object Classification, ICCV’09
采用39 个不同的特征
PHOG, SIFT, V1S+, Region Cov. Etc.
在普通特征上MKL表现
有限
结论：特征更重要
5
编辑课件
动 机——为什么要自动学****特征
机器学****中，获得好的特征是识别成功的关键
目前存在大量人工设计的特征，不同研究对象特征不同，特征具有多样性，如：SIFT, HOG, LBP等
手工选取特征费时费力，需要启发式专业知识，很大程度上靠经验和运气
是否能自动地学****特征？
6
编辑课件
中层特征
中层信号：
动 机——为什么要自动学****特征
“Tokens” from Vision by :
连续
平行
连接
拐角
物体部件:
他们对于人工而言是十分困难的，那么如何学****呢？
7
编辑课件
动 机——为什么要自动学****特征
一般而言，特征越多，给出信息就越多，识别准确性会得到提升；
但特征多，计算复杂度增加，探索的空间大，可以用来训练的数据在每个特征上就会稀疏。
结论：不一定特征越多越好！需要有多少个特征，需要学****确定。
8
编辑课件
动 机——为什么采用层次网络结构
人脑视觉机理
1981年的诺贝尔医学奖获得者 David Hubel和TorstenWiesel发现了视觉系统的信息处理机制
发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃
9
编辑课件
动 机——为什么采用层次网络结构
人脑视觉机理
人的视觉系统的信息处理是分级的
高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图
抽象层面越高，存在的可能猜测就越少，就越利于分类
10
编辑课件