oceanbase结构化数据海量存储系统.pdf

文档介绍：: .
态，负载低，宕机无影响
 UpdateServer
 双机热备，强同步，宕机不丢数据；
 Group Commit，操作日志RAID1，RAID卡带电池
 内存Copy-on-write B+ Tree，随机读QPS 100W，写TPS 20W
 内存数据定期dump到SSD（转储），支持热插拔
 ChunkServer
 数据一般存储2~3份；
 SSTable数据结构：划分block，block有序，block内行有序
 Block index缓存在内存中，一次读盘；
 异步IO，磁盘与CPU操作并行，列式存储；
7UpdateServer是性能瓶颈?
 内存容量
 每天更新一般不超过40G；
 大内存 + 转储到SSD；
 磁盘
 操作日志：顺序写，group commit
 网络
 网络出口带宽一般不超过50MB/s；
 普通网络收发包框架13w/s，优化过的框架30w~50w/s（千兆网
卡）；
 万兆网卡，多网卡；
 CPU
 普通Get/Scan请求CPU占用很少；
8多机房支持
 多机房
 同城机房（强同步），异地机房（准实时同步）
 客户端配置多集群地址，按比例分配流量
 主集群脚本切换对外透明，服务器端程序版本无缝升级
9海量数据实时分析
 海量数据实时分析（类似Google Dremel）
 支持千万级记录实时计算
1. 请求拆分
2. 请求分发到多个ChunkServer
3. 每个ChunkServer计算局部结果
4. 合并汇总，计算top N等
 支持按列存储；
 千万级数据实时统计时间控制在秒级，简单统计操作两秒内；
10 : .
OceanBase
结构化数据海量存储系统
杨传辉（日照）
：淘宝日照
1 : .
OceanBase
结构化数据海量存储系统
杨传辉（日照）