淘宝数据分析挖掘实践及变革.pdf

文档介绍：淘宝数据分析挖掘实践及变革
毛波 2013-04
目录
•淘宝数据四阶段
•系统变迁及平台架构
•数据应用格局
•新的探索
•一些观点
淘宝数据四阶段
•被动响应
–2007年前
•主动变革
–2008-2010
•优化完善
–2011-2012
•引领驱动
–2013-
系统变迁及平台架构
数据系统变迁
2013-
2011-2012
数据驱动
Hadoop集群
新模式探索
2008-2010 公有云
DXP
Hadoop集群实时Storm
调度监控调度监控
年前
2007 实时日志传输实时日志传输
数据库集群
( ) 数据门户实时数据库同步
脚本
多维分析数据门户
简单调度
自助查询工具
数据报表
元数据管理
数据系统变迁
数据
•性能量

•扩展性技术
方案
业务
资源
•运维需求
数据平台架构
数
据
数据门户多维自助查询平台在云端接入数据魔方量子恒道 OpenAPI 应
用

分布式集群实时计算

数
Storm
据
DXP 计
Hive Hbase 数据交 Ocean 冷数据算
换平台 Base 集群…平

台
调
HDFS
度
监
控数

DataX DBSync TT 据
收
集

数
业务库(Mysql) Log Server ……外部数据据
源
数据应用格局
对外数据产品
•数据魔方/淘宝指数
–行业趋势
–人群特征
–成交排行
–市场细分
•量子恒道
–销售分析
–营销效果
–来源分析
•搜索排行榜
对外数据产品
•淘宝时光机
–http://me./
–回忆的感动
•排行榜