文档介绍：独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:日期:年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□,在年解密后适用本授权书。不保密□。(请在以上方框内打“√”)学位论文作者签名:指导教师签名:日期:年月日日期:年月日本论文属于I华中科技大学硕士学位论文摘要随着互联网数据迅猛增长,在大数据时代存储和处理这些海量数据成为最大的挑战之一,各种各样的云存储系统开始涌现,国内外公司都投入到各自云存储系统研究和开发中。HDFS是Google GFS开源实现的分布式文件系统,专门用于存储海量大数据,具有高可靠性、高可用性、高伸缩性等特点。HDFS集群采用主从架构,一个中心节点用于保存文件系统的元数据,许多个数据节点用来存放实际的数据。大文件被分割多个块,被存放在数据节点中,分布在不同数据节点上。当HDFS应用于含有大量的小文件场景中,会造成中心节点内存急剧消耗,限制HDFS集群容量,同时造成中心节点洪泛查询的压力。论文研究了HDFS自带的小写文件存储的解决方案,它们采用远端合并压缩的方法,但是由于存在多级索引过程,导致读写性能低下。针对HDFS自带方案的不足,提出了一种客户端小写文件合并策略。该方案将小文件在客户端缓存合并成一个大文件,同时小文件在大文件的偏移信息写入大文件的开头部分,然后作为一个文件块存入数据节点;在数据节点端添加小文件映射表,实现了对原生Inode结构的拓展;在数据节点通过小文件索引信息,提取小文件内容;并通过采用缓存预取策略来提高读取性能。最后设计测试方案,对拓展系统进行了内存占用、读写性能等方面的测试,通过与原系统小文件存储方案进行性能比较,发现系统内存使用节省达70%,写文件时间平均缩短20%,通过预取策略文件读时间平均缩短40%。关键词:分布式文件系统,中心节点,数据节点,元数据,小文件II华中科技大学硕士学位论文AbstractWiththe explosion of data,data storage putation is ing one of the biggest challengesin the big data ,a certain number of cloud storage es into being these which is open-source system based on Google GFS and mainly used for storing huge numbers of big data,has the character of high reliability,high availability,and high has a master and slave architecture,with one centre node storing the meta-data,and lots of data nodes storing the real data. Big file will be split into several blocks which are stored in data nodes,and each block will have three copiesdistributed into different data lotsof small filesstored on HDFS,it will cost a lot of memory and maybe cause a flood request inthe centre paper does some research on the solution which is based bination pression on server side to solve small problems,but read-write performance of thesolution is