文档介绍：中山大学
硕士学位论文
分布式存储系统设计与实现
姓名:朱学政
申请学位级别:硕士
专业:软件工程
指导教师:李文军
20090605
摘要本篇论文表述的是设计和实现一个分布式存储系统,叶草娲系统,目标是为企业或网站提供大规模数据存储的基础性应用。该存储系统的特点就是利用众多廉价、不可靠的机器,作为存储数据的数据成数份固定大小的块扛隹橛个副本,这龈北痉直鸫娣诺个不安全性。维护的信息包括文件名、畔⒑兔扛鯞存放的上。数量众多的数据节点集群在一起对外提供存储服务,使得系统具应用程序通过梦氏低常珻隢ü冻痰饔梦史瘢肦是专为系统设计,支持流式操作,客户端访问系统的负载,均匀分布在这些数据节点上,数据流建立在访问客户端和数据节点之间,在读写时同时有多个数据节点并行参与,获得很高的操作性能。由于数据被分割成多个块存放于存储系统的多个数据节点上,系统具备支持冻叽缥募芰Α关键词:分布式;存储;集群;节点,共同构建一个可靠、容错、容量巨大的存储系统。整个存储系统采用思想来构建,使用一个中心节点作为系统的中心,维护所有存储数据的元信息,数量众多的数据节点庞美创娣攀荨J菸募植同的数据节点上。副本机制既保证了系统的可靠性,也保证了系统的有存储妒菽芰Α论文题目:专业:硕士生:指导教师:分布式存储系统设计与实现软件工程硕士李文军中山人学硕上学位论文
:籹;籶.,.分布式存储系统设计‘迪瑆—.,—.猵.·.甌瓵,甀,.::
掺锄张卿日期:斗年』厅』学位论文作者签名:穿学每又论文原创性声明:学位论文使用授权声明日期:年‘月飞日本人郑重声明:所呈交的学位论文,是本人在导辉的指导下,独立进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的作品成果,对本文的研究作出重要贡献的个人和集体,均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名:本人完全了解中山大学有关保留、使用学位论文的规定,即:学校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版,有权将学位论文用于非赢利目的的少量复制并允许论文送入学棱图书馆、院系资料室被查阅,有权将学位论文的内容编入有关数据库进行检索,可以采用复印、缩印或其他方法保存学位论文。保密的学位论文在解密后使用本规定,日期:—甲年耑日
第一章引言研究背景从古到今的存储介质都不能解决数据安全及持久。所以要在这些脆弱的存储介质上建立持久存储,必须使用对应的策略与技术。当前无论是个人还是公司,数据量持续增长,数据存储问题日益突出。磁盘备份的而忘记备份。无论是移动、台式或桃捕挤浅4嗳酢对于小的企业,情况不会比个人好多少,很多就直接使用一台当存储服务器或文件服务器,运行的通常是瘛H刖加玫氖萘砍,就以俗笥业奈⑿凸纠此担诖娲⒎衿魃戏胖昧私娜砑⑹悠怠代码库、文档等数据,没有作任何保护措施。一旦丢失,情况非常麻烦,比较重要的如代码,公司要求个人要保存到本地。一般企业采用集中式存储,利用磁盘镜像来提高有限的数据可靠性,但能提供的容量有限。或采用蚐技术,即使企业能承受一次投入,也无法承受持续的容量扩充和系统的平滑升级。同时维护难度大,需要咨询或聘请专业人分布式存储思想的出现,使得解决这些问题变得越来越现实。本文的目的就是利用分布式思想建立一个廉价、部署简单、稳定、可靠、易扩展、自组织的分布式存储系统。数据的保存从龟甲、兽骨等到竹简,再到纸张,以及现代的磁带、磁盘、光盘。存储介质发生很大的变化,从体积大容量小到体积小容量大的转变,但这些制造商为了迎合个人和企业的需要,不断推出大容量的磁盘。但磁盘越大就意味着可能要失去更多的数据。终会有一天保存在磁盘上的所有数据都会丢失。数据的保存及安全极具挑战。个人通常的解决办法是多处保存,如在移动上保存一份,袒蛞贫盘上保存一份,在台式上保存一份,这种情形非常难管理,并且很可能需要一个才维护。中山大学硕貉宦畚
“际醯牡窃从谧试垂蚕砗统浞掷糜邢薜拇恚采用和传统客户机,服务器/模式的集中式共享不同的架构。J皆谕中每个节点都是“对等”⒉煌耆。这些数量巨大的节点共同构建了一个网络环境氐⑼型⒏哺峭,每个节点都能迅速查询路由表,访问任何一个节点,同时任何一个节点都能访问此节点,也就是每个节点同时充当服务器和客户端的角色。刈试词保梢源佣喔鼋诘悴⑿邢略厥荩换嵊衏/。集中式结构与募构比较图,如下:图集中式与对等式结构对比图际醯囊桓龊诵奈侍饩褪亲试炊ㄎ唬谱抛试炊ㄎ凰惴ǖ种主要的芄梗莆=峁够疨和非结构化芄埂非结构是指其中一台计算机充当中心控制,负责响应所有接入计算机的资源定位请求,所有的资源位置信息都在这个中央服务器上,这时的并不是一个严格对等的