raft在百度云存储实践.pdf

文档介绍：:..Raft在百度云存储实践王耀2017/01/15:..AboutMe•王耀•百度云高级架构师•资深轮子党•分布式存储熟练工:..ABC时代的分布式存储容量性能多样性EB级存储需求高吞吐内容:网页、广告、日志、UGC每日新增百PB数据低延时类型:文本、图片、视频数据长期备份性能横向扩展形式:结构化、半结构化、非结构化:..百度云存储•分类•消息队列•文件系统•块存储•对象存储•表格存储:..CCDB存储体系TableFileObjectInterfacePermissionIsolationPriorityPlatformReplicationRecoveryControlDistributedTableEngineFileEngineKVEngineEngineReplicaBlockSystemRaid-likeBlockSystemBlockMemorySSDDiskHardware:..AFS新存储体系:..分布式存储面临的问题•如何分片•如何复制•如何修复•节点加入•节点离开•如何负载均衡•如何规避IO慢节点:..:..一致性复制协议•BasicPaxos•MultiPaxos•ViewstampedReplication•QJM•ZAB:..Raft简介•LeaderElection•LogReplication•MembershipChange•paction:..Raft之Node状态转移:..Raft之Log状态转移:..libraft之复制修复:..raft在分布式存储•CoreBuilding•Lock•Block•Queue•Table•File•NewSQL:..轮子libraft•业界现状•需求目标–高性能–C++实现较少–通用库–大部分类zk服务–自定义storage–功能不完备–功能完备–性能不好–prevote–测试不充分–leadertransfer–测试靠谱–jepsentest:..libraft之WAL•挑战•缓存•WAL的IO隔离•内存缓存最近•WAL阻塞Raft状态机Entries•WAL双写影响吞吐•异步•WAL异步写replicator•批量•Replicator批量发EntriesWAL•LogStorage批量写Entriesraft:..libraft之prevote•对称网络划分•对称网络划分•增加term会导致leaderstepdown•prevote阻止数据不全节点选主•不属于复制组中的节点•属于复制组但网络划分的节点:..libraft之leadertransfer•Implement•TimeoutNow•Case•rebalance•removeleader:T