文档介绍：电子科技大学硕士学位论文
分类号密级
UDC
学位论文

基于 Hadoop 的企业海量数据存储与计算平台的设计与实现
(题名和副题名)
张韶英
(作者姓名)
指导教师姓名罗克露教授
电子科技大学成都
李士湘高工
招商银行总行惠州
(职务、职称、学位、单位名称及地址)
申请学位级别硕士专业名称工程硕士
工程领域名称软件工程
论文提交日期论文答辩日期
学位授予单位和日期电子科技大学
答辩委员会主席
评阅人
2010 年月

注 1:注明《国际十进分类法 UDC》的类号
独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工
作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地
方外,论文中不包含其他人已经发表或撰写过的研究成果,也不包含
为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明
确的说明并表示谢意。
签名:日期:年月日

关于论文使用授权的说明
本学位论文作者完全了解电子科技大学有关保留、使用学位论文
的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁
盘,允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文
的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或
扫描等复制手段保存、汇编学位论文。
(保密的学位论文在解密后应遵守此规定)
签名:导师签名:

日期: 年月日
摘要
摘要
近年来,随着数据存储与分布式计算技术的发展,国内外掀起了研究海量数
据存储与计算的新高潮,以 Google、Amazon、IBM 为代表的信息技术公司陆续推
出了自己的海量数据存储与计算的构架,其中最引人注目的新理念就是“云计算”
解决方案。
作者所在的企业为互联网数据服务公司,每天产生的数据是 TB 级别,数据的
存储与管理成了公司面临一大难题。结合海量数据存储与计算的相关技术,吸纳
业界领先公司的工作成果,设计一套符合公司业务要求、支持海量数据应用服务
的数据存储与计算平台,寻求适合企业海量数据的存储和计算的“云计算”解决方案
是本文的目标。
本文主要的工作是海量数据与计算平台设计、开发和测试。首先基于 Hadoop
框架体系,设计了符合海量数据存储的平台架构以及海量数据处理的算法与机制;
其次,根据平台的设计方案,给出了基于 Hadoop 的分布式存储与计算平台的实施
方案,并针对支持海量大文件存储的 GHFS 和支持海量小文件存储的 TGHFS 给出
了存取接口的实现,构建了海量数据查重和海量数据分布式索引和检索的的海量
数据分布式计算应用;最后对平台的文件读写功能、存储性能和检索的速度进行
了测试。测试表明,海量数据存储与计算平台完全达到设计总体目标,为公司的
海量数据存储与计算提供了理想的解决方案。

关键词:Hadoop 海量数据存储与索引
I
Abstract
Abstract
During these years, with the development of data storage and distributed
computing technology, the research area of large-scale data storage puting is
coming to a new high tide. Information panies such as Google,
Amazon and IBM publish their large-scale data storage puting framework
one after another, puting solution is the most new concept among these
framework which catches the world developer’s eyes.
The author’pany is an data pany at TB-scale data
increasing speed every day, so data storage and management es a difficult
problem in pany. Combining large-scale data storage puting
technology with the panies achievem