文档介绍：淘宝云梯分布式计算平台整体架构
淘宝数据平台与产品部
云铮
喜
淘我
欢！
目录
系统架构
数据同步方案
调度系统
元数据应用
喜
淘我
欢！
系统整体架构
Oracle 备库 MySQL 备库 日志系统 爬虫数据
Gateway Servers
DataExchange DBSync TimeTunnel
数
云梯 1 据
天网调度系统
流
Map Reduce Streaming Hive Jobs 向
Java Jobs Jobs
数据平台 搜索 广告 BI 支付宝 口碑 B2B 云梯 2
数据魔方 量子统计 淘数据 推荐系统 搜索排行 …
喜
淘我
欢！
淘宝云计算介绍
喜
淘我
欢！
数据同步方案 ——概览
数据源 增量实时同步 Hadoop集群 计算结果
Mysql备库 Dbsync
Mysql
全量 /非实时同步
oracle备库 TimeTunnel 2
HDFS DataX
日志数据 全量 /非实时同步 oracle
爬虫数据 DataX
喜