文档介绍：大规模深度学****算法
Deep Belief Network及其应用
刘凯(花名：拜阳)
共享业务事业部-数据应用
2015-06-27
自我介绍
• 2006-2011年毕业于中科院自动化所，模式识别与智能系统
• 2011-2014年在IBM中国研究院任研究员，大数据挖掘与管
理
• 2014年加入阿里，从事分布式机器学****算法研发，以及在
阿里的各种业务场景推广应用
2
Outline
• 为什么要用深度学****br/> • 分布式DBN架构和原理
• 典型应用
-- 淘宝广告评论检测
-- 手淘天天特价个性化推荐
• 总结与未来工作
3
Outline
• 为什么要用深度学****br/> • 分布式DBN架构和原理
• 典型应用
-- 淘宝广告评论检测
-- 手淘天天特价个性化推荐
• 总结与未来工作
4
机器学****在互联网界的典型应用场景
为什么要机器学**** 个性化推荐
为什么需要更好的机
器学****模型
为什么要分布式学****br/> 广告CTR prediction
从海量用户行为数据中学****用户的行为偏好，为每个用户提供个性化的服务
5 需要更精确的分布式机器学****模型高效学****含有丰富用户行为的大数据
深度学****模型具有更强的特征表示能力
• 线性模型：如果输入特征线性不可分，则精度较差(如逻辑回归)
6
深度学****结构决定一切
7
Deep Belief Network(DBN)的优势
一般的DNN中，随着网络深度增加，在迭代中容易掉入到某个局部极小点而导致训
练失败
DBN: 多个RBM逐层堆积，逐层预训练所组成的多
层神经网络
DBN的优势：在BP有监督训练之前，对网络参数进
行无监督的预训练
预训练可将网络参数初始化到靠近某个较优的局部
极小点甚至全局最优点附近
8
Outline
• 为什么要用深度学****br/> • 分布式DBN架构和原理
• 典型应用
-- 淘宝广告评论检测
-- 手淘天天特价个性化推荐
• 总结与未来工作
9
分布式DBN架构
10