文档介绍：分类号_________ 学号 M200972322
学校代码 10487 密级
硕士学位论文
论文分享系统中的海量图片存储研究
学位申请人: 刘小军
学科专业: 计算机系统结构
指导教师: 冯丹教授
答辩日期: 2012 年 1 月 11 日
A Thesis Submitted in Partial Fulfillment of the Requirements
For the Degree of Master of Engineering
Research of Massive Image Storage In Paper Sharing System
Candidate : Liu Xiaojun
Major : Computer Architecture
Supervisor : Prof. Feng Dan
Huazhong University of Science and Technology
Wuhan, Hubei 430074, P. R. China
Jan., 2011
独创性声明
本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研
究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或
集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在
文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。
学位论文作者签名:
日期: 年月日
学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有
权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借
阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进
行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
保密□,在________年解密后适用本授权书。
本论文属于
不保密□。
(请在以上方框内打“√”)
学位论文作者签名: 指导教师签名:
日期: 年月日日期: 年月
华中科技大学硕士学位论文
摘要
在当今互联网环境下,图片已经成为大多网站展示内容的一种主要手段,用
户也常通过照片来分享自己的生活和心情。而随着互联网的高速发展,传统的图
片存储服务正面临着数据规模高速增长和数据访问高并发这两方面的挑战。这就
需要图片存储系统具有良好的可扩展性和高性能。此外,如今的互联网应用越来
越多样化,很难有一种通用的办法适用于所有的系统,我们需要针对系统的应用
特征来设计相应的解决方案。
以研究各大互联网公司的图片存储系统为基础,结合论文分享社会化网络的
应用特点,提出一种日志型的基于哈希树和键值对(key-value)接口的存储模型,
同时借鉴已有的解决系统可扩展性和可靠性的分布式架构设计理念,对传统的图
片存储系统进行改进。使用日志型的 key-value 模型,将图片数据只增不减的写
入大文件中,减少了文件数量,简化了操作系统的管理,同时使用哈希树结构,
组织图片在大文件中的索引信息,实现图片的快速读取;采用分布式的架构设计,
实现系统的可扩展性和可靠性;结合论文分享的特点,利用图片之间的相关性,
进一步提高读取性能;采用了 epoll 网络模型和领导者-跟随者(leader-follower)
线程模型,有效地提升了系统处理高并发请求的能力。然后根据提出的解决方案
实现了一个针对论文分享的图片存储系统,并详细介绍了系统的架构、核心模块
以及相应实现。
最后对论文分享系统进行了性能测试,分别对采用日志型的 key-value 模型、
采用哈希树组织索引信息、结合论文图片相关性以及使用 epoll 和 leader-follower
模型等方案进行了相应的测试,并与没有采用这些方案的系统进行对比,测试结
果表明新系统的性能有了很大提升,验证了设计的针对论文分享的图片存储系统
具有良好的性能。
关键词:分布式系统;可扩展性;图片存储;论文分享
I
华中科技大学硕士学位论文
Abstract
In the background of fast-growing , image has e the major means
of the most sites show their contents, users also glad to share their photos through life
and mood. With the rapid development of , the traditional methods of storing
image data are facing the