文档介绍：网易海量数据存储平台
王磊@网易杭研院
wanglei@
海量存储空间
高效的数据访问:高并发、低延迟
高可扩展性
高可用性:7x24
安全性和可靠性
功能和接口丰富、简单易用
有效应对系统(数据、模式、环境)变更和升级
易维护:管理便捷,自动化程度高
控制成本
互联网应用的数据存储需求
设计目标:
为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用的用户数据存储和管理解决方案。
实现方案:分布式数据库+分布式文件系统
分布式数据库(DDB):基于关系数据库集群解决结构化数据的海量存储和高效访问。
分布式文件系统(DFS):以文件为存储单位的非结构化数据存储解决方案。
网易海量数据存储平台简介
基于水平Sharding的Scale Out,表大小不受限。
多平台和多语言环境下的SQL访问接口。
支持常用的RDBMS功能:
DDL:支持大多数常用语句,union和嵌套查询除外
DML:表、视图、存储过程、触发器等
用户管理和权限控制
全局ID分配
事务支持:节点内、跨节点、跨DDB。
支持MySQL和Oracle混合使用。
命令行和图形化管理工具。
DDB的功能特点
DDB系统架构
去中心化,Client通过DBI直接访问DBN
尽量避免分布式查询
DBI Cache
Meta Data Cache
DBN Connection Pool
DBN PreparedStatement Cache
SQL Syntax Tree Cache
优化排序操作:Merge Sort优先
内部游标
基于Master-Slave的读负载均衡和读写分离
DDB访问性能优化——系统设计优化
访问认证
用户名、口令认证和IP地址检查
DDB认证+DBN(RDBMS)认证
权限管理
区分普通用户和管理员用户
权限粒度控制到表的读、写和授权
用户访问配额控制
管理员权限细分:Schema配置、维护、监控统计、用户管理
管理员操作日志
其他:
口令加密传输和保存
只允许内网访问
DDB系统安全
DBN状态监视:By Master
心跳监视和报警,故障时切换到Standby Node。
Session自动监视、统计和报警
Slow Log自动监视、统计和报警
复制延迟和异常自动监视和报警
Query Server监视:By Master
心跳监视和报警,动态调整和广播可用的QueryServer列表。
负载监视,动态调整和广播可用的QueryServer访问权值。
Master监视:By Monitor or Zookeeper
采用主从模式,故障时自动切换
Meta Data复制
DDB状态监视和故障处理