文档介绍：海量小文件系统 数据管理方案
宋勇刚
厦门
2011/04/11
行业经验
很多时候,行规并是最好的,是可
以被更改的!
--CommVault Benny Song
应用特点
数据量大、单个文件尺寸小
单个文件尺寸在几十KB-1MB左右
增长量快、海量扫描件
数据储存方式
在线存储或NAS
一般以数据库作为索引
数据特点
TIF或JPG文件
录入后不修改,不删除、访问频率低
保险行业影像系统/电信行业详单系统/交警行业道路监控系统/数字档案馆/语音系统等
台式机
工作站
文件服务器
或NAS系统
服务器
数据管理面临的挑战
数据存储的挑战:
系统的重要程度高
数据量大、数据年增长80%左右,使性能严重受到影响
大量访问频率低的文件占用昂贵的在线存储资源
每年都要进行存储空间扩容
备份/恢复速度慢(以天计)
无信息生命周期管理
mVault提供360°全方位数据管理
在线存储或NAS
分析监控
在线存储或NAS
在线存储或NAS
近线存储
具有N-层副本
分级存储管理
数据分析监控
直观的报告提供详细的存储使用信息
了解数据增长趋势,便于更好的存储规划
确定数据的不同管理方式, 规划数据生命周期策略
数据分级存储管理
保持了对归档数据的透明访问
减小在线存储上的数据量,缩短备份和恢复窗口
将在线数据移到廉价的存储设备,使在线存储获得更多资源和更好性能,降低总体拥有成本
快速备份和恢复
数据块级备份,仅备份已用的数据块,备份窗口缩短为传统备份时间几十分之一
DCE配合文件备份
文件级的小颗粒恢复
支持全备份、增量备份、合成全备份
快速备份恢复
块级备份
Tapes
Cloud
CAS
Disk
CommVault数据管理方案—存储资源管理
提供文件系统、应用程序和数据库当前存储使用情况的报告
提供支持性趋势分析数据,优化存储
基于阈值的设置主动提示可能影响生产环境的事件或故障以降低风险
分析可进行归档的陈旧数据,计算可以节省的成本
基于Web浏览器的用户界面,通过多种视图查看主存储资源
CommVault数据管理方案—分级存储管理
数据保留时间 5年-- 10年-- 20年-- 30年
策略2 – SATA硬盘
Tier 3 –磁带
Tier 4 –磁带
策略1-SCSI硬盘
访问
需求
对用户应用完全透明
支持文件系统和NAS
支持多级存储,每级有独立 的保留周期,且能直接恢复
优化存储、降低总体费用
和备份无缝结合
CommVault数据管理方案—快速备份恢复
备份
数据块级备份方式
备份量为实际使用数据量
根据环境不同也可考虑DCE配合文件备份的模式
备份介质
数据卷
SAN/LAN
恢复
小颗粒恢复
可恢复单个文件或目录
特点:
备份速度快:对海量小文件的块级备份
小颗粒恢复:可恢复单个文件或目录
备份方式灵活:增量备份、合成备份
备份恢复成功率高:断点续传、任务自动重启机制……
海量小文件系统
管理对象
数据存放策略
数据访问方式
数据管理策略
数据管理最佳管理实践
今天
N1年
N2年
N3年
DB
Files
在线数据
在线数据
近线数据
离线数据
经常访问
较少访问
按需恢复
备份
较少访问
每周全备份, 每天增量备份, 保留3个月
每季度末的全备份, 保留1年
每年末的全备份, 永久保留,磁带出库存放
存储资源管理:前瞻性监控、跟踪存储成本、预测增长趋势
将N1年不访问的数据迁移到近线低成本存储上,数据保留期为N2年
同步归档一个副本到在线磁带上
数据保留期为N3年
每6个月进行磁带定期校验
磁带出库保存,保留至第N3年
每6个月进行磁带定期校验
在线访问
在线访问
通过存根
透明访问
通过存根
透明访问
通过恢复
进行访问
索引数据库服务器
文件服务器或NAS
经常访问
应用场景
某保险公司影像系统,平均每年新增500GB数据,单文件尺寸80KB左右。
以数据保存20年计算。
现在有3种数据管理方案:
数据全部存放在在线存储,用传统备份软件进行备份。
采用分层存储,用独立的归档和备份软件进行管理,2年内的数据存放于在线存储,3到20年数据存放在近线磁盘,用备份软件备份在线和近线数据。
采用分层存储,用SIMPANA一体化软件进行管理,2年内的数据存放于在线存储,3到6年内数据存放在近线磁盘,6到20年数据存放在归档磁带。
下面我们分析三种方案所需要的资源(存储+备份窗口),传统文件方式备份速率:8-15GB/mVault块级方式备份速率:150-300GB/小时。