文档介绍：分类号密级

UDC 注 1

学位论文

私有云存储系统的设计与实现
(题名和副题名)

马小平
(作者姓名)

指导教师郑文锋副教授
电子科技大学成都
杨源高级工程师
大迈科技信息技术有限公司
(姓名、职称、单位名称)
申请学位级别硕士专业学位类别工程硕士
提交论文日期论文答辩日期
学位授予单位和日期电子科技大学 2014 年 06 月 28 日
答辩委员会主席
评阅人

注 1:注明《国际十进分类法 UDC》的类号。
DESIGN AND IMPLEMENTATION OF STORAGE
SUBSYSTEM IN PRIVATE CLOUD

A Master Thesis Submitted to
University of Electronic Science and Technology of China

Major: Software Engineering
Author: Ma Xiaoping
Advisor: Associate professor Zheng Wenfeng
School : School of Automation Engineering
独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作
及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方
外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含为
获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与
我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的
说明并表示谢意。

作者签名:
日期: 年月日

论文使用授权
本学位论文作者完全了解电子科技大学有关保留、使用学位论文
的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,
允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全
部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描
等复制手段保存、汇编学位论文。
(保密的学位论文在解密后应遵守此规定)

作者签名: 导师签名:

日期: 年月日
摘要
摘要
随着信息技术的不断发展和普及,数据量迅猛增长,数据之间的联系也越来
越紧密,这使得高能性能计算[23,24]和大数据处理[25-27]日益成为人们关注的焦点。
如今,云存储技术因其高效的管理方式,高可靠性,高安全性等特点成为企
业存储数据的首选解决方案。而在云存储系统设计之中,其高效性、可扩展性和
安全性成为设计的难点和重点。
在云计算业界,云存储系统的元数据管理单元和数据存储单元的设计和实现
一直是整个难点问题。由于文章篇幅和时间的限制,本文重点研究数据存储单元
的设计和实现。本文根据当前的存储系统和分布式文件系统的特点和应用,并结
合企业存储服务的实际需求,提出并实现了一种具有高可扩展性和高可用性的云
存储系统 C-Store。
本文先介绍已有的几种分布式存储系统和与云存储相关技术理论基础,接着
介绍本云存储系统的总体设计思路和方法,重点介绍数据存储系统的设计和实现,
最后通过对系统的测试来验证之前的设计思路。
云存储系统 C-Store 的总体架构采用分布式构架,元数据部分和数据部分的数
据采用分别存储方式,并分别用不同的、各自的资源管理单元(桶)来存储,这
样有利于元数据和数据分别管理和进行性能优化,避免单个节点失效带来的风险;
同时采用负载均衡技术使之各个节点负载均衡,使用数据恢复策略等来提高系统
的可靠性和可扩展。
本文实现了数据存储单元中的设计思路和设计要点。整个数据存储子系统实
现是在 Linux 环境下使用 C++来实现的;实现之后系统,用户可以通过客服端来
上传、下载和删除数据;实现数据以键值对存储方式进行存储,据按照基于规则
的资源定位策略(多层映射),定位到多个不同的数据存储单元;通过桶的扩展和
迁移来实现系统的负载均衡机制;用多副本机制来实现数据的恢复和重建;总的
来讲实现了一个具有高性能、可用性[22]和高可靠性的云存储系统。

关键词:云存储系统,分布式处理,数据存储,一致性,容错
I
ABSTRACT
ABSTRACT
As the development and popularization of the information technology, data am