文档介绍：密级:
硕士学位论文
面向海量数据的多级键值存储引擎
作者姓名:
指导教师: 副研究员
学位类别: 工学硕士
学科专业: 计算机软件与理论
培养单位: 中
2012年 5月
Mass Data Oriented Multi-Level Key-Value
Storage Engine
By
Meng Li
A Dissertation Submitted to
Graduate University of Chinese Academy of Sciences
In partial fulfillment of the requirement
For the degree of
Master of Engineering
Institute puting Technology, Chinese Academy of Sciences
May, 2012
声明
我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,本论文中不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。
作者签名: 日期:
论文版权使用授权书
本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机构送交本论文的复印件和电子文档,允许本论文被查阅和借阅,可以将本论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编本论文。
(保密论文在解密后适用本授权书。)
作者签名: 导师签名: 日期:
摘要
1海量数据存储的背景和重要性,互联网信息是主要的信息获取渠道(表现重要),数据量大,引出海量数据存储
2阐述当前的海量数据存储引擎存在的问题,读写性能不均衡。引出SSD,介绍SSD的造价问题
3引出本文通过多级存储的方式均衡读写
4贡献
41三级存储引擎的提出,起到的效果(均衡读写)
42三级缓存调度策略的提出,针对。。。问题,采用。。手段,达到了兼顾缓存命中率和SSD写放大率的目标
43缓存性能的提升与数据分级。针对索引性能问题,采用哈希索引的方式(加速查找,节省内存),经测试表明基于HDD读性能提升了69%,基于SSD读性能提升89%。根据数据特性不同对数据进行分级和索引优化,提升了整体系统的性能有进一步的提升。
随着互联网的发展,互联网已经成为人们获取信息的主要来源,用户产生的数据急剧增长
本文中针对多级存储引擎设计了缓存调度策略,引入哈希索引提升了系统性能,并设计了整体系统的数据分级方案,本文的主要贡献包括:
提出了面向海量数据的RAM-SSD-HDD三级键值存储引擎。本文通过提出三级键值存储引擎,协调了系统性能及成本之间的矛盾,并且对SSD在系统中的应用模式进行了分析,最终采用了SSD作为HDD缓存的方式。
提出了RAM-SSD-HDD三级缓存调度策略。在三级存储引擎中,缓存调度策略至关重要,本文针对SSD的特性设计了SSD友好的三级缓存调度策略,其中包括应对SSD的缓存换出策略,SSD缓存更新策略,以及SSD缓存管理与失效策略。在整体的缓存调度策略中综合考虑了缓存访问时间、缓存访问频率和SSD的写放大率问题。
基于SSD的哈希索引的引入及数据的分级方案的研究与设计。在本文中,针对面向海量数据的键值存储引擎引入了基于SSD的哈希索引方式,具有内存空间占用小、查找迅速等优点,提升了系统的读性能。在三级存储引擎中,缓存数据、新写入数据与历史数据都有不同的特性,本文针对性这些特性对数据进行了分级存储,并对索引进行优化,提升了整体系统的性能。
关键词:多级存储;SSD;缓存;索引