文档介绍：机器学****与深度学****br/>目录
机器学****的根底
神经元网络
深层神经元网络
延伸和应用
深层学****实现架构
未来和思考
小学生解方程
a 3 + b = 10
a 8 + b = 30
a络？
Geoffrey Hinton
出生于： 1947
专业：
学士，心理学，1970，
博士，人工智能，1978
多伦多大学教授
Google 研究中心
1986： 神经元网络BP算法创造人之一
深度学****主要奉献人
I GET VERY EXCITED WHEN WE DISCOVER A WAY OF MAKING NEURAL NETWORKS BETTER — AND WHEN THAT’S CLOSELY RELATED TO HOW THE BRAIN WORKS.’
谁重新激活了神经元网络？
NCAP: 神经计算和自适应感知工程
2004
NCAP Researchers
Yoshua Bengio
Yann Lecun (FaceBook)
Andrew Ng (Baidu)
20~ Others
Core Team
深度学****的
2006年，Geoffery Hinton Science发表DBN文章。
2021年，Hinton, ImageNet, 26%-15%。
2021年，Andrew Ng和分布式系统顶级专家Jeff Dean，Google Brain工程，16000个CPU核的并行, >10亿个神经元的深度神经网络
2021年，微软首席研究官Rick Rashid在21世纪的计算大会上演示了一套自动同声传译系统
2021年，Hinton->>Google; Yann LeCun ->>Facebook; 用户图片信息提取2021年，百度成立了百度研究院及下属的深度学****研究所〔IDL〕，
2021年，Andrew Ng ->>Badidu
可信任网络 Belief Nets 〔BN〕
一个BN 是一个由随机变量组成的有向非循环图
一局部变量为可观察变量
如何由变量推断出非观察变量的状态
调整变量之间连接的参数优化：最大可能重新生成观察变量
stochastic
hidden cause
visible
effect
We will use nets composed of layers of stochastic binary variables with weighted connections. Later, we will generalize to other types of variable.
可信任， 信任什么？
随机的二元单元 (Bernoulli variables)
隐含层的神经元的状态为0或1
该神经元激活的概率为输入层加权和的 sigmoid 函数
0
0
1
Restricted Boltzmann Machines 〔RBM)
限制神经元之间的链接以简化参数学****br/>只包含一个隐含层.
多隐含层后期引入
隐含层单元之间无链接.
给定输入可观察矢量， 隐含层单元之间独立
隐含层和输入层之间为无向链接
hidden
i
j
visible
RBM 训练
i
j
i
j
i
j
i
j
t = 0 t = 1 t = 2 t = infinity
从可观察训练矢量开始，交替更新隐含层和可观察矢量层单元
a fantasy
小结一个根底的DBN网络
决定DBN的隐含层数以及隐含层的神经元数
每两层之间依据RBM单独依次训练参数
训练完的两层网络简单叠加起来成为深层网络
利用BP算法对叠加后的网络连接参数进一步优化
RBM Pseudo 代码
For t=0 to n:
Vt - Ht 基于sigmoid函数 和Gibbs 采样
Ht - Vt+1 基于sigmoid函数 和Gibbs 采样
Vt+1 - Ht+1 基于sigmoid函数 和Gibbs 采样
更新参数W:
RBM Code
目录
机器学****的根底
神经元网络
深层神经元网络
延伸和应用
深层学****实现架构
未来和思考
深度学****目前常用的架构
深度神经元全连网络 DNN (Deep Neu