《淘宝oceanbase云存储实践》.pdf

文档介绍：OceanBase
淘宝云存储实践

rizhao.******@
SACC2011SACC20111
在线存储的挑战
 海量数据：PB级别，每天处理数据量TB级别
 时效性：秒级，有时可折衷到分钟级
 性能高
 OLTP：几十万QPS，几万TPS
 OLAP：支持千万行记录实时计算
 易用性：支持类SQL使用方式
SACC2011SACC20112
已有方案分析
 关系型数据库：功能好，但可扩展性不够
 分布式方案
 类Dynamo方案（Cassandra）：弱一致性，关注度越来越低
 类Bigtable方案（HBase）
功能支持弱，缺乏事务，跨机房，宕机恢复等各种问题；
线下增量计算及分析型应用
 NOSQL与SQL融合方案(Google Megastore)：不开源
 “拿来主义”不能完全满足真实需求
SACC2011SACC20113
自主研发通用存储
 解决特定存储难题
 海量数据的事务；
 大表Join问题；
 更好的大数据量OLTP解决方案
 低成本，高性能
 可扩展，舍弃无用的SQL功能；
 支持千万级海量数据的实时OLAP分析
 存储服务化
SACC2011SACC20114
可扩展性挑战
 同构的分布式系统
 将机器分成group，每个group内的机器存放的数据完全相同
 问题：数据迁移量太大，group内部增加副本做不到自动化；
 假设服务数据量1TB，内部传输带宽限制20MB/s，增加副本的
时间为1TB / 20MB/s = 50000s，大约10几个小时；
 迁移过程中机器再次出现故障怎么办？

SACC2011SACC20115
存储需求分解





 Oceanbase提供复杂关系的海量数据在线存储方案
 在线存储特点：数据量大但最近一段时间修改数据量不大
 静态数据和动态数据分离
 动态数据不断地合并到静态数据
 静态数据：数据量大，一般采用SAS存储；
 动态数据：数据量小，一般采用内存或者SSD服务；
SACC2011SACC20116
Oceanbase一期架构
 主控服务器RootServer：主+备，Schema/B+树根节点/机器管理…
 动态数据服务器UpdateServer：主+备，实时修改(内存+SSD)
 静态数据服务器ChunkServer：多台，B+树数据节点(磁盘或SSD)
 查询合并服务器MergeServer：多台，静态动态数据合并…
SACC2011SACC20117
Oceanbase一期特点
 功能
 数据模型类似关系型数据库
 强一致性
 支持跨行跨表事务
 高效Join
 可扩展性：支持动态增减机器，无需分库分表；
 可靠性高，机器宕机秒级恢复；
 自动负载均衡；
 采用Copy-on-write技术，单写多读不加锁，性能好；
 支持Online schema change；

SACC2011SACC20118
Oceanbase一期落地
 收藏夹需求
 收藏表保存收藏信息条目，40亿+
 商品表保存收藏