百度个人云存储架构与实践.pdf

文档介绍：百度个人云存储架构与实践周伟2014/9/18内容纲要•百度个人云存储简介•百度ObjectStore系统•集群部署实践百度个人云存储免费大空间、海量存储。支持文件、目录及缩略图管理。多终端自动同步。轻松的文件分享功能。基于多种平台提供丰富的SDK。专业的技术支持团队。百度ObjectStore系统•通用的object存储系统•一致性模型–最终一致性,支持强一致性查询•灵活的存储方案–EC编码、多副本•对外接口–Put(UINT128key,BYTE*value)–Get(UINT128key,BYTE*value)–Delete(UINT128key)Object数据组织ObjectStore系统架构PIS架构RBS架构EC编码•Reed-SolomonCoding:RS(k,m)–基于伽罗华域的运算–k个data块,生成m个parity块–k+m块中任意丢失至多m个都可修复•k,m的选择–数据可靠性不能低于3副本模型–k/m尽可能小,降低数据冗余度–k+m尽可能小,降低元数据存储–k越大,网络和磁盘IO越大系统部署环境•PIS和RBS混合部署•IntelX86服务器–(12*3TSATA,64GBMem)