Raft在百度云存储实践.pdf

文档介绍：Raft在百度云存储实践

王耀
2017/01/15
About Me
•王耀
•百度云高级架构师
•资深轮子党
•分布式存储熟练工
ABC时代的分布式存储

容量性能多样性
EB级存储需求高吞吐内容:网页、广告、日志、UGC
每日新增百PB数据低延时类型:文本、图片、视频
数据长期备份性能横向扩展形式:结构化、半结构化、非结
构化
百度云存储
•分类
•消息队列
•文件系统
•块存储
•对象存储
•表格存储
CCDB存储体系

Table File Object Interface
Permission Isolation Priority Platform
Replication Recovery Control Distributed
Table Engine File Engine KV Engine Engine
Replica Block System Raid-like Block System Block
Memory SSD Disk Hardware
AFS新存储体系
分布式存储面临的问题
•如何分片
•如何复制
•如何修复
•节点加入
•节点离开
•如何负载均衡
•如何规避IO慢节点
一致性复制协议
• Basic Paxos
• Multi Paxos
• Viewstamped Replication
• QJM
• ZAB
Raft简介
• Leader Election
• Log Replication
• Membership Change
• paction