文档介绍：DB和DFS应用结合
We have many PowerPoint templates that has been specifically to help anyone that is stepping into the world
DB和DFS应用结合
We have many PowerPoint templates that has been specifically to help anyone that is stepping into the world
一、DBA的挑战
CONTENT
二、DFS的特点
三、DB与DFS的结合
四、DFS在SDG的应用
DBA的挑战
高并发
响应速度
热点数据
成本
DB性能
可用性
扩展性
监控
备份/恢复
DB管理
客服查询
数据仓库
数据分析
DB服务
DBA的挑战
OLTP的类型注定磁盘成为不断优化的对象
ATA,SATA,SAS,SSD,依然不够快
随机小IO,高并发,不断追求IOPS
商用数据库,专业存储的成本催生了开源与廉价PC的时代
热点数据往往非常头疼,很难有统一完美的HASH策略
,BigTable,
高并发
响应速度
热点数据
成本
DB性能
可用性
扩展性
监控
备份/恢复
DB管理
DBA的挑战
DB与业务的耦合度太高
CAP决定了RDB的扩展和高可用难度
廉价PC服务器集群,带来了监控的复杂性和监控数据爆炸式的增长
备份/恢复永远是DBA首要的课题
所有数据都要保存,永不删除注定备份挑战越来越大
客服查询
数据仓库
数据分析
DB服务
DBA的挑战
客服事件查询,图片审核,留言审核
Web日志,DB日志,DB数据,Web客户端数据,程序客户端数据,数据源越来越多
仓库越来越大,关系越来越复杂,单位存储和性能成本需要考虑,良好的架构设计更为重要
算命要越来越快,自我修复要越来越快
一、DBA的挑战
CONTENT
二、DFS的特点
三、DB与DFS的结合
四、DFS在SDG的应用
规模效应
更为低廉的成本
“人”多力量大
良好的扩展性≠无限的扩展
良好的可用性,良好的容错性
良好的并发性能≠提升了响应速度
大文件
大部分写操作是insert,最忌讳随机update
大部分情况是insert后,文件只读
DFS的特点
基于块
moosefs
hdfs
lustre
基于文件
glusterFS
mogilefs
基于表
nosql
Clustrix Sierra
基于数据库
greenplum
drizzle
DFS的分类
集群文件系统
分布式文件系统
假设:
1000台服务器
20个性能指标
每5分钟采集一次
7天的数据量
4000w
监控
同比
环比
类比
群比
top N
监控的特点与DFS选取
数据量很大,并发较多,只有insert,select
数据流形式存储
便捷快速的SQL查询
也许NoSQL, drizzle是不错的选择
备份的特点
重要性
稳定压倒一切
通用性
更低廉的成本
不太追求性能
大文件存储
DFS的选取
从通用性,便捷性角度:glusterFS
从稳定性,成熟度角度:HDFS
备份
日志类型数据
Web日志
数据库审核
图片审核
留言审核
客服查询
日志类型数据特点
数据量大
一次性需求
重在计算而不是存储
数据集中的统一接口
日志类型的DB服务
数据仓库特点
数据源众多
海量的数据存储与计算
实时性要求不高
运营决策的根基
网络瓶颈
DB与DFS结合最好的应用
Hadoop
Greenplum
VS Oracle,SQLServer
数据仓库/数据分析
图片存储
小文件众多
备份
容错恢复
读写速度
软件仓库
无盘工作站
只有系统盘的办公环境
Google Doc
其它典型的DFS应用
一、DBA的挑战
CONTENT
二、DFS的特点
三、DB与DFS的结合
四、DFS在SDG的应用
借鉴,学习
讨论
Common Distributed File System
Thank You!
敬请指导！
S
THANK
Praesent sodales odio sit amet odio tristi Praesent sodales odio sit amet odio tristi
简约
清新