文档介绍：DB与DFS应用结合
徐景春
演讲人徐景春
部门平台运营部
时间
一、DBA的挑战
CONTENT
二、DFS的特点
三、DB与DFS的结合
四、DFS在SDG的应用
DBA的挑战
高并发
响应速度
热点数据
成本
DB性能
可用性
扩展性
监控
备份/恢复
DB管理
客服查询
数据仓库
数据分析
DB服务
DBA的挑战
OLTP的类型注定磁盘成为不断优化的对象
ATA,SATA,SAS,SSD,依然不够快
随机小IO,高并发,不断追求IOPS
商用数据库,专业存储的成本催生了开源与廉价PC的时代
热点数据往往非常头疼,很难有统一完美的HASH策略
,BigTable,
高并发
响应速度
热点数据
成本
DB性能
可用性
扩展性
监控
备份/恢复
DB管理
DBA的挑战
DB与业务的耦合度太高
CAP决定了RDB的扩展和高可用难度
廉价PC服务器集群,带来了监控的复杂性和监控数据爆炸式的增长
备份/恢复永远是DBA首要的课题
所有数据都要保存,永不删除注定备份挑战越来越大
客服查询
数据仓库
数据分析
DB服务
DBA的挑战
客服事件查询,图片审核,留言审核
Web日志,DB日志,DB数据,Web客户端数据,程序客户端数据,数据源越来越多
仓库越来越大,关系越来越复杂,单位存储和性能成本需要考虑,良好的架构设计更为重要
算命要越来越快,自我修复要越来越快
规模效应
更为低廉的成本
“人”多力量大
良好的扩展性≠无限的扩展
良好的可用性,良好的容错性
良好的并发性能≠提升了响应速度
大文件
大部分写操作是insert,最忌讳随机update
大部分情况是insert后,文件只读
DFS的特点
基于块
moosefs
hdfs
lustre
基于文件
glusterFS
mogilefs
基于表
nosql
Clustrix Sierra
基于数据库
greenplum
drizzle
DFS的分类
集群文件系统
分布式文件系统
Google
Google
Gmail
Google Earth
Amazon
EC2
S3
Sample DB
RDS
51DFS
DFS的成功应用